データクレンジング

データクレンジングとは

データクレンジングは、データクリーニングやスクラビングとも呼ばれ、生のデータセットからエラーや重複、無関係なデータを特定し、修正するプロセスです。データクレンジングはデータ準備プロセスの一環であり、データの精度を向上させ、信頼性の高い可視化やモデルの構築を可能にすることで、より良いビジネス上の意思決定を支援します。

データクレンジングの重要性

どんなに優れた分析やアルゴリズムを駆使しても、質の低いデータから価値を引き出すことはできません。企業に存在するデータの約30%には何らかの問題があり、不正確なデータによるコスト損失は企業全体の収益の12%に及ぶと言われています。さらに、こうした金銭的損失にとどまらず、さまざまな問題が引き起こされています。データクレンジングを活用すれば、一貫性があり、構造化された正確なデータを生成し、確かな情報に基づいてスマートな意思決定を下せます。また、アップストリームのデータ入力やストレージ環境の改善点を明らかにすることで、継続的に時間とコストを節約できます。

分析を変革

データに潜むインサイトを引き出しませんか？

無料トライアルを開始

データクレンジングのプロセス

データクレンジングは、あらゆる分析プロセスにおいて不可欠なステップであり、通常、以下の6つのステップを含みます。

重複の排除：複数のソース（表計算シート、ウェブサイト、データベースなど）の統合時、お客様の連絡先が複数存在する場合などにおいて、重複を排除します。重複したデータがあると、サーバー容量や処理リソースが過剰に消耗されたり、ファイルのサイズが必要以上に大きくなったりするなど、分析効率の低下につながる恐れがあるため、早期の対処が重要です。重複の排除に関するルールは、企業ごとに自由に決められます。例えば、同一のお客様がウェブサイトの異なるページで異なる電子メールを送信した場合に、保守的なアプローチとして「すべてのフィールドが完全に一致するデータ行だけを削除する」といったルールを定めることができます。

無関係なデータの排除：解決すべき問題に関係のないデータは、処理時間の遅れにもつながります。この工程では、そうした無関係なデータを取り除き、より効率的に分析を行うことができるようにします。削除対象となったデータは、元々のデータソースには保持されますが、分析からは排除されます。たとえば、昨年のキャンペーンを調査する場合、昨年以外のデータを含める必要はありません。ただし、たとえ特定の変数が必要ないとしても、調査結果と相関している可能性がある点に留意する必要があります（例として、お客様の年齢は、メールキャンペーンのテストの効果を測るうえで、必須の変数かもしれません）。

不完全なデータの管理：データの値が欠落している場合（顧客が特定の情報を提供しなかった場合など）、偏りや計算ミスを防ぐためにも、早急な対処が求められます。[0]、[NA]、[none]、[null]、[not applicable]と表示される不完全な値を特定して調査した後、これらが妥当な値であるか、または情報の欠落によるものなのかを判断します。最も簡単な解決策は、不完全なデータを削除することですが、その結果として生じる可能性のあるバイアスに注意する必要があります。または、削除する代わりに、統計や条件付きのモデリングに基づいてNULL値を代替値に置き換えたり、欠損データにフラグを立て、コメントを付けたりもできます。

外れ値の特定：母集団から大きくかけ離れたデータポイントは、データの現実性を大きく歪めてしまう可能性があります。こうした外れ値は、箱ひげ図（ボックスプロット）、ヒストグラム、散布図、Zスコアなどの視覚的または数値的手法を用いて特定できます。これらのプロセスの一部を自動化することで、前提条件を迅速に検証し、データの問題を確実に解決できるようになります。外れ値を特定したら、その外れ具合や分析に使用する統計手法などに応じて、そのまま残すか、省くかを選択することができます。

構造的なエラーを修正する：誤植、大文字、略語、フォーマットなどのエラーや不一致の修正は非常に重要なステップです。各列のデータ型を確認し、入力が正しく一貫性があるかどうかを確認し、必要に応じて修正するとともに、フィールドの標準化、余分な空白などの不要な文字の削除なども行います。

検証：検証は、データの正確性、完全性、一貫性、均一性を確認するプロセスです。データクレンジングのプロセス全体で検証が行われますが、念のため、サンプルを実行して検証しておくことをおすすめします。また、クレンジングプロセスで使用したツールや手法を文書化することも重要です。

これからのデータクレンジング

データクレンジングは効果的な分析に不可欠ですが、時間やリソースを浪費する手作業主体のサイロ化されたプロセスになりがちです。分析を自動化すれば、誰もが反復可能でスケーラブルなデータクレンジングを行えるようになり、次のようなメリットも期待できます。

• データと分析の民主化
• ビジネスプロセスの自動化
• 社員のスキルアップを促し、短期間で画期的な成果を創出

データクレンジングは、分析自動化の基盤となる重要な工程です。この基盤をしっかりと固めることで、データサイエンスや機械学習を活用した、より高度な分析へスムーズに進めます。

データクレンジングを活用しませんか？

手作業でのデータクレンジングは、煩雑でミスが起こりやすく、時間もかかります。Alteryxの使いやすい自動化ツールを活用すれば、コード不要で多彩なアプローチを用いながら、データの不備を簡単に特定・修正できます。Alteryxのエンドツーエンドの分析プラットフォームは、データ探索の重要性と特性を踏まえ、データを適切に整えることが質の高い分析につながるという考え方に基づいて設計されています。Alteryxプラットフォームで構築したワークフローは、恒久的に自動化でき、高速かつ反復可能で、監査可能なプロセスをいつでも再現できます。