SQLの夏：Joe Hellerstein氏によるQ&Aシリーズ
今夏、SQLが再び大きく脚光を浴びています。
SQLが再び注目されている理由を探るべく、私たちはカリフォルニア大学バークレー校のコンピューターサイエンス教授であり、Trifactaの共同創業者であるJoe Hellerstein氏にインタビューを行いました。
SQL復活の背景、クラウドデータウェアハウスの普及に伴うクラウドデータエンジニアリングの変化、ETLがELTに変わりつつある理由などを掘り下げる、「SQLの夏」シリーズをぜひお楽しみください。
SQLが再び注目されている理由
2000年代初頭はJava中心のアプローチが人気を集めていたにもかかわらず、最近はSQLが再び脚光を浴びています。今日、SQLはあらゆるデータエンジニアリングの話題の中心となっており、シリコンバレーにおいても大きく注目されています。
そこで浮かぶ疑問は「JavaとSQLのどちらが優れているのか」というこではないでしょうか。それぞれのメリットとデメリットを探ってみましょう。
SQLが再び注目されている理由
2000年代初頭はJava中心のアプローチが人気を集めていたにもかかわらず、最近はSQLが再び脚光を浴びています。今日、SQLはあらゆるデータエンジニアリングの話題の中心となっており、シリコンバレーにおいても大きく注目されています。
そこで浮かぶ疑問は「JavaとSQLのどちらが優れているのか」というこではないでしょうか。それぞれのメリットとデメリットを探ってみましょう。
SQLパイプラインとELT
近年、ELTはますます魅力的になっています。最新のデータウェアハウスは柔軟性に富み、コスト効率にもより優れ、大規模なデータの格納にも対応できます。さらに、テキストや画像データを含む複雑なデータでも難なく扱うことが可能です。ELT環境では、変換処理がデータウェアハウス内で行われ、ネイティブ言語としてSQLが用いられています。
詳細を見るSQLパイプラインとELT
近年、ELTはますます魅力的になっています。最新のデータウェアハウスは柔軟性に富み、コスト効率にもより優れ、大規模なデータの格納にも対応できます。さらに、テキストや画像データを含む複雑なデータでも難なく扱うことが可能です。ELT環境では、変換処理がデータウェアハウス内で行われ、ネイティブ言語としてSQLが用いられています。
詳細を見るトランスフォーメーション：SQLでさらなる高みに
ELTの「T=変換」にSQLを用いることで、新たな可能性を広げられるようになります。今回は、乱雑かつバラバラなデータテーブルを、使いやすい共通の形式に変換する方法を学びます。先ほどの例で言えば、携帯電話を販売した17の家電量販店から販売データを抽出してロードし、SQLでそのデータを統合する変換クエリを書くということになります。
詳細を見るトランスフォーメーション：SQLでさらなる高みに
ELTの「T=変換」にSQLを用いることで、新たな可能性を広げられるようになります。今回は、乱雑かつバラバラなデータテーブルを、使いやすい共通の形式に変換する方法を学びます。先ほどの例で言えば、携帯電話を販売した17の家電量販店から販売データを抽出してロードし、SQLでそのデータを統合する変換クエリを書くということになります。
詳細を見るデータエンジニアリングにおけるSQL
カリフォルニア大学バークレー校は全校規模でのデータサイエンスプログラムの推進を目指し、データサイエンスに特化したカリキュラムを新設しました。データエンジニアリングの目的はソフトウェアエンジニアリングとは異なるため、どのように教えるかを従来のデータベースクラスとは異なる視点で考えることは興味深いものでした。
この新たなアプローチでは、従来のデータベースクラスとは異なる「データ品質、データ変換、表計算ソフトのタスク、データパイプラインのテスト」という4つのSQLによるデータエンジニアリングのステップに重点を置くこととなりました。
データエンジニアリングにおけるSQL
カリフォルニア大学バークレー校は全校規模でのデータサイエンスプログラムの推進を目指し、データサイエンスに特化したカリキュラムを新設しました。データエンジニアリングの目的はソフトウェアエンジニアリングとは異なるため、どのように教えるかを従来のデータベースクラスとは異なる視点で考えることは興味深いものでした。
この新たなアプローチでは、従来のデータベースクラスとは異なる「データ品質、データ変換、表計算ソフトのタスク、データパイプラインのテスト」という4つのSQLによるデータエンジニアリングのステップに重点を置くこととなりました。