データ準備とは
データ準備はビジネス分析や機械学習に使用する生データのクレンジングと統合を行うステップであり、「前処理」とも呼ばれます。データ準備はマイナーな作業に捉えられがちですが、入念なデータ準備こそがデータ分析を成功させるためのカギとなります。
生データから正確で有意義なインサイトを得るためには、生データを適切に検証、クリーニング、強化する作業が不可欠です。ビジネス分析またはモデルにおける結果の妥当性と価値は、初期段階のデータ準備の良し悪しにかかっています。
データ 準備 が重要な理由
ビジネスリーダーが下す意思決定は、その裏付けとなるデータの質に大きく左右されます。慎重かつ包括的にデータ準備を行うことで、ビジネスアナリストやデータサイエンティストはデータを信頼して理解し、より適切な質問を問いかけられるようになり、分析およびモデリングの精度と有意性を高めることができます。データ分析の意義が高いほど、インサイトの質も上がり、結果もより良いものになります。
分析とインサイトのレベルをさらに高めるためには、次のような要素を優先しながらデータ準備戦略を実施することが肝心です。
- アクセシビリティ：スキルセットに関係なく、誰もが信頼できる単一の情報源にアクセスしてデータを利用できる
- 透明性：データ準備プロセスの全ステップがエンドツーエンドで実行され、誰もが確認、監査、改善できる
- 再現性：データ準備には時間がかかり、繰り返しの作業がつきものであり、業務時間の80％を奪うとも言われていることから、自動化を取り入れた反復可能なソリューションの導入がデータ準備戦略の成功に不可欠となっている
セルフサービスのデータ準備ツールを使用することで、アナリストやチームがデータ準備プロセスを効率化し、価値あるビジネスインサイトの獲得や成果の達成に、より多くの時間を費やせるようになります。
データ準備プロセスに含まれる手順
データ準備プロセスは、業界やニーズによって違いはありますが、通常は次の手順で構成されています。
- データ取得：必要なデータの特定、収集、一貫したアクセスの確立により、強力で信頼性の高い分析を実現
- データの探索：データの質を評価し、分布を調査し、各変数間の関係を分析することで、分析の構成方法をよく理解するためのプロセスであり、データプロファイリングとも呼ばれる
- データのクレンジング：不要なデータや質の低いデータの削除、不正確なデータの修正により、データの品質と全体的な生産性を向上させ、エラーのないインサイトを作成
- データ変換：分析で使用するデータセットのフォーマット、方向づけ、集約、エンリッチ化を行い、より有意義なインサイトを生成
データ準備の各プロセスは直列的につながり合っていますが、必ずしも直線的な流れになるわけではありません。これらの手順の順序は、必要なデータや問いかける内容によって前後することがあります。新たなインサイトが明らかになったり、追加のデータソースがプロセスに統合されたりした場合に、前のデータ準備手順に戻らなければならないことが往々にしてあります。
データ準備プロセスには、時間がかかる反復的な作業が多く含まれます。だからこそ、アナリストやデータサイエンティストが準備に費やす時間を減らし、分析により多くの時間をかけられるように、個々の手順を簡単に理解し、繰り返し、再検討し、修正できるようにすることが重要です。
以下では、プロセスの各手順をより深く掘り下げてご紹介します。
データ取得
データ準備プロセスの最初の手順は、アナリストが分析に使用するデータを取得することですが、アナリストは、企業のソフトウェアシステムやクラウドデータウェアハウス、データレイクなどから分析に必要なデータを取得するために、ITスタッフやデータエンジニアなどに頼りがちです。また、こうしたデータは通常、ExcelやCSVなどのアクセス可能な形式で提供されます。最新の分析ソフトウェアを用いれば、他者にデータラングリングを依頼することなく、SQL、Oracle、SPSS、AWS、Snowflake、Salesforce、Marketoなどの信頼性の高いデータソースなどをはじめとする、各種アプリ、データウェアハウス、データレイクに直接アクセスし、定期レポートのデータを入手し、新たな分析プロジェクトに取り組めるようになります。これにより、アナリストは定期レポートのデータを自分自身で入手できるようになるだけでなく、新たな分析プロジェクトに独自で取り組むことができるようになります。
データ探索
データの調査とプロファイリングを行うことで、データの内容や構造を理解し、どのような分析を行えるかイメージをつかめるようになります。ビジュアル分析や、最大値・最小値、平均、標準偏差などの要約統計を用いることで、データの概要の大局的な把握が可能になります。データのサイズが大きすぎて作業しづらい場合は、データのセグメント化や、データのサンプリングが可能な分析ツールの利用をお勧めします。
このフェーズでは、アナリストやデータサイエンティストがデータセットの品質の評価も行う必要があります。データは完全か？想定どおりのパターンか？そうでない場合、その理由は？アナリストは、データ所有者と何が起きているかを議論し、予期せぬ事態や異常があれば掘り下げ、品質を改善できるかどうかを検討する必要があります。低品質のデータセットを対象から除外するのは気が進まないかもしれませんが、こうしたデータの質は、データ分析のプロセスを経るほどに、さらに低下していく傾向にあるため、長い目で見れば賢明な選択だといえます。
データクレンジング
探索のフェーズでは、データの構造が不十分なため、データを整えて品質を改善する必要があることに気づくかもしれません。ここで活躍するのが、データクレンジングです。データクレンジングでは、以下のタスクが実行されます。
- 入力ミスの修正
- 重複または外れ値の削除
- 欠落しているデータの排除
- 名前や住所などの機密情報のマスキング
データ変換
データには、さまざまな形状、サイズ、構造があります。すぐに分析に利用できるデータもあれば、まったく理解不能なデータセットもあります。
データを変換し、質問に回答できるような形式や構造にすることは、有意義な成果を生み出すために不可欠なステップです。データ変換のステップは、アナリストがデータ分析に使用するソフトウェアや言語によって異なってきます。
データ変換における一般的な作業例を以下にご紹介します。
- データのピボットや方向の変更
- 日付形式の変換
- 営業および業績データを時系列で集約
機械学習のためのデータ準備
機械学習は人工知能の一種であり、アルゴリズム（モデル）が大量のデータを使用することによってパフォーマンスを向上させます。あらゆるAIシステムやプロセスを支える機械学習アルゴリズムのトレーニングと検証には、構造化データと非構造化データの両方が不可欠です。ビッグデータとクラウドコンピューティングの普及により、AIの活用事例やアプリケーションは飛躍的に増えていますが、機械学習モデルを成功させるには、大量のデータを用意するだけでは不十分です。生データは、異常値や欠損値が含まれることから、データが扱いづらかったり、不正確なモデルになってしまったりする恐れがあるため、クラウドや機械学習モデルとの統合が難しく、正確で信頼できる機械学習モデルを構築するには、かなりの量のデータを準備する必要があります。
Anacondaの調査によると、データサイエンティストは、データの書き出しやクリーニングを含むデータ準備作業に45％もの業務時間を奪われています。セルフサービスのデータ準備ツールを使うことによって、データサイエンティストやシチズンデータサイエンティストが、データ準備プロセスの大部分を自動化し、より価値の高いデータサイエンス業務に時間を費やせるようになります。
クラウドでのデータ準備
クラウドデータウェアハウスやクラウドデータレイクをはじめとするクラウドデータストレージセンターの普及により、企業がデータ準備とデータ分析のアクセス性とスピードを改善するとともに、クラウド環境を活用してセキュリティとガバナンスを向上させることが可能になりました。これまでは、データをオンプレミスのデータセンターに保管することが一般的でしたが、このような物理的なサーバー環境では、必要に応じて企業データの利用を増減させることは難しく、運用コストがかさむだけでなく、特に大規模なデータを扱う場合には膨大な時間を要しがちです。
データの爆発的な増加に伴い、ビジネスにおけるより大規模なデータストレージ機能と、より迅速なインサイトの獲得へのニーズが高まっています。クラウド環境の普及により、エンドユーザーがネットで強力なリモートサーバーからデータにアクセスしたり、ストレージや処理リソースの使用量をオンデマンドで拡張したりすることがかつてなく簡単になり、効率的なデータ準備とデータパイプラインの構築に欠かせないものとなっています。一方で、企業はクラウドソリューションに移行する際に、クラウドデータウェアハウスとクラウドデータレイクの違いを考慮する必要があります。
クラウドデータウェアハウスには、すでに特定の目的のために処理、準備、構造化され、フィルタリングされたデータが格納されます。処理されたデータセットは恒久的に再利用できるため、データの同様のユースケースを想定している場合などに役立ちます。しかし、こうしたデータ準備を行った後での使用例は非常に限られたものとなります。加工されたデータを元に戻したり再利用しようとすると、データセットの一部が欠落したり、元に戻す際に変更されたりする恐れがあり、データの忠実性が損なわれ、大きなリスクが伴いがちです。
クラウドデータレイクは、企業が複数の目的で利用・再利用できる生データの大規模な保管庫を指します。企業全体のビジネスアナリストとデータサイエンティストは、活用例が大幅に異なる可能性がありますが、クラウドデータレイクを導入することで、構造化の過程で重要な情報が失われる心配がなく、費用対効果の高いストレージと広範なデータアクセスを提供できるようになります。
データ準備の質を高め、より広範な分析を実現
確実なデータ準備は、有効かつ強力な分析や機械学習の基盤となります。これは、アナリティクスオートメーション（分析自動化、データ分析の自動化）と呼ばれる広範にわたる分析エコシステムの重要な構成要素です。
アナリティクスオートメーションのデータ準備と自動化機能は、データワーカーを手作業での準備作業や精神的負担から解放し、さらに有意義な時間の活用を可能にします。
Alteryxのデータ準備ツール
Alteryx Analytics Automation Platformは、データの品質を損なうことなく、データ準備プロセスを高速化します。さらに、そのプロセスの再現性を向上させ、他の部門が利用できるようにします。
Alteryxプラットフォームを使用すれば、データアナリスト、データエンジニア、シチズンデータサイエンティスト、データサイエンティスト、IT部門などの誰もがデータから結果を導き出せるようになります。つまり、データと分析の民主化、プロセスの最適化と自動化、従業員のスキルアップなどを一挙に実現できます。
膨大なデータセットが飛び交う今日において成功を収めるためには、データ分析と機械学習の準備、処理、自動化を実現するプラットフォームの導入が不可欠です。
Alteryxのエンドツーエンドの分析プラットフォームでは、データ準備と分析を直感的に、効率的に、楽しく行えます。Alteryxでは、圧倒的に豊富なビルディングブロックを用いてデータ準備を簡単に行えるだけでなく、重要なデータ準備プロセスの文書化、共有、拡張などをこれまでになく迅速かつ容易に実行したり、機械学習を活用して、分析プロセス全体を効率化したりできます。
ただし、「百聞は一見に如かず」です。あらかじめ設定済みの分析テンプレートを用いて、すぐに問題解決に着手できる各種スターターキットをぜひご活用ください。スターターキットをダウンロードしてデータを流し込むだけで、部門、業界、分析分野、技術統合などのさまざまな業務内容に適した分析やテクノロジーの活用が可能になります。
Alteryxのデータブレンディングスターターキット
本スターターキットでは、データブレンディングをマスターし、反復的なワークフローのプロセスを自動化して、さまざまなデータソースのデータを簡単にブレンドする方法を学ぶことができます。
- 顧客の取引情報を視覚化します。取引データや顧客データをブレンドし、トレンドやビジネスチャンスの特定に役立つ視覚的なインサイトレポートを作成できます。
- ファジーマッチ機能で類似するデータを識別します。類似性のあるデータ同士をすばやくファジーマッチ（あいまい一致）させてブレンドし、出力したデータを自動ワークフローにフィードしてリアルタイムでインサイトを獲得できます。
- 広告エリアの分布を計算します。さまざまな空間データをブレンドして広告の分布エリアを計算することで、売上の増加とROIの改善を実現できます。
Data Blending for Tableauスターターキット
本スターターキットでは、AlteryxとTableauをシームレスに統合し、強力なデータビジュアライゼーションとビジネスインテリジェンスを実現するための分析ワークフローを利用できます。このスターターキットでは、営業担当者のパフォーマンスの監視、商圏の設定、購買者の行動を理解する方法を学ぶことができます。
- 何百もの自動化ビルディングブロックを用いて、データの準備、ブレンド、強化を迅速に実行
- Tableauダッシュボードに直接インサイトを公開
- ドラッグアンドドロップ、ローコードまたはノーコードで、大規模なデータセットの地理空間、統計、予測分析を実行し、豊富なインサイトを獲得
- 商圏分析やマーケットバスケット分析などの、すぐに使えるビジネスソリューションを活用
AWSスターターキットによるデータブレンディング
本スターターキットでは、AWS S3、Redshift、Athenaとのデータ統合を円滑に進めて自動化ソリューションを構築し、データの準備、データブレンディング、プロファイリングから、インタラクティブな空間分析や予測分析に至るまでを簡単に実行して、迅速にインサイトを得ることができます。
- 何百もの自動化ビルディングブロックを用いて、データの準備、ブレンド、強化を迅速に実行
- AWS S3、Redshift、AthenaインスタンスからのPStream入出力や、データのアップロードとダウンロード
- ドラッグアンドドロップ、ローコードまたはノーコードで、大規模なデータセットの地理空間、統計、予測分析を実行し、豊富なインサイトを獲得できます。