Data Mesh Hero

データメッシュは今や時代遅れ?AIの民主化の時代では、さにあらず

戦略   |   Alex Gnibus   |   2024年2月23日 読了時間の目安:6
読了時間の目安:6

データメッシュについて最初に知っておくべきことは、人々がデータメッシュに過剰な期待が寄せられているという点です。

データメッシュは特定の技術やソリューションと誤解されがちですが、実際にはより概念的なフレームワークです。正確に言えば、これは「社会技術的アプローチ」であり、データメッシュの提唱者であるZhamak Dehghani氏がそう定義しています

多くの組織が、データメッシュを「購入できる万能な技術」と誤解し、「採用したい」と言うものの、実際の運用段階で壁にぶつかります。

では、データメッシュはすでに廃れつつあるのでしょうか?アナリストたちは、データメッシュが失敗に終わるリスクがあり、2024年には衰退するトレンドになる可能性があると指摘しています。Gartner社は、データメッシュをデータ管理におけるハイプサイクルの「イノベーショントリガー」段階に位置付けましたが、「成熟期に達する前に陳腐化する」と予測しています。

しかし、私たちは「データメッシュの終焉」が過大に語られていると考えています。データメッシュには、まだ正当なチャンスが与えられていないのです。データメッシュは「解決策」ではありません。それは「戦略」です。それは意思決定のためのフレームワークです。このように捉えることで、人材・プロセス・テクノロジーの変革を検討する際に、有益な指針となります。

AI時代において、データメッシュはこれまで以上に価値のあるフレームワークです。

MITの調査によると、生成AI(genAI)を本番環境で活用している企業は、10%未満にとどまっています。また、約60%の企業が、生成AIをサポート・実現するためにデータ環境を変更していないと回答しています。これらの組織には、AIの導入を成功に導くためのデータアーキテクチャ戦略を策定するフレームワークが必要です。そこで登場するのがデータメッシュです!

データメッシュの目的は、ビジネス領域の専門家が自らのデータパイプラインを管理できるようにすることです。では、AIの活用事例における未開拓の人材は誰でしょうか?それはビジネス分野のエキスパートたちです。

ビジネスユーザーは、データ収集、ユースケースの特定、探索的分析、成果の評価において極めて重要な存在です。ビジネスロジックを理解しているユーザーがAIの取り組みから外れると、導入は停滞します。データメッシュは、ビジネスユーザーが意思決定の場に加わるための支援となります。

「データに最も精通した人材を巻き込む」というタイトルのインフォグラフィック。データ管理とモデル開発のワークフローが、複数の役割が関与するプロセスとして描かれています。アイコンとテキストボックスで表された5つのステージが点線でつながれています。左から右へ:「ユースケースの特定とデータ探索」(サブテキスト:「データとビジネスロジックの理解」)、次に「データ準備とクレンジング」(サブテキスト:「データの品質と正確性を確保」)、続いて「特徴量エンジニアリング」(サブテキスト:「文脈を与えるためのラベル付けとデータ加工」)第4段階は「モデルのトレーニングと展開」で、「Alteryx のノーコード機能」または「Databricks のようなコードベースのプラットフォーム」が挙げられ、最終ステージは「モデル評価とビジネス成果」で、「モデルから得られたインサイトを活用する」と記載されています。各ステージの下には、それぞれの工程に関与する役割を示すシルエットが配置され、色分けされて「LOB」というラベルが付いています。ただし、4番目のステージだけはオレンジ色のシルエットで「Technical OR LOB」とラベル付けされています。

AI/MLの各ステージには、それぞれの業務分野の専門知識が求められます。真にビジネスフレンドリーなデータフレームワークであれば、こうした専門家の関与を可能にします。

組織全体でのAI導入を見据えてデータアーキテクチャ構築にデータメッシュを検討している場合、以下のような「やるべきこと」と「避けるべきこと」を押さえておきましょう:

NG:実際にはセルフサービスではないデータプラットフォームを採用すること

データメッシュ文化は、ドメインオーナーシップを可能にします。つまり…ドメインオーナーを真に活用可能にするということです!それができなければ、データメッシュの本質を理解していないことになります。そして、これは多くの組織が陥る典型的な落とし穴です。

アナリティクスの責任者が、データメッシュに期待を寄せて Microsoft Fabric のような最新プラットフォームを導入しても、Excelに慣れた財務アナリストは Power Query を現実的に使いこなせないかもしれません。また、SQLベースのデータウェアハウスへ移行して、その鍵を営業チームに手渡したとしても、営業チームはそれをどう使って良いかわからないかもしれません。

データメッシュ文化を本当に根付かせるには、分析プロセスを担う非技術系ビジネス専門家が、実際の分析作業にアクセスできるようにすることが欠かせません。だからこそ、セルフサービスプラットフォームはデータメッシュの中核的な原則の一つなのです。

アナリティクスプラットフォームが、本当にセルフサービス型であるかを確認してください。既存のデータスキルの有無にかかわらず、ビジネスユーザーが活用できるよう設計されたテクノロジーソリューションへの投資を検討してください。

「セルフサービス対応」と謳いながら、実際にはビジネスユーザーにとって扱いづらく、高度な技術知識を必要とするプラットフォームには注意が必要です。進捗が止まり、最初の生成AI活用事例にもたどり着けない90%の企業の仲間入りをしてしまうかもしれません。

DO:すべての職種でデータリテラシーの基盤を築く

データメッシュには、組織全体でのデータリテラシーが求められます。中央集権的なデータチームから分散型モデルへ移行するには、従来は中央チームのみが有していた基礎的なデータ知識を全社で共有する必要があります。

貴社の業務部門の専門家はすでに、重要なデータリテラシー、つまりドメイン知識やユースケース理解を備えています。ビジネスにおいて、データはどんな意味を持つのか?そのデータを使って何ができるのか?どんなビジネス成果を導けるのか?

ただし、ビジネス専門家には以下のようなデータの基本概念に対する基礎的な理解が依然として求められます:

  • 組織が使用しているストレージソースからデータにアクセスする方法
  • 異なるデータ型を扱うとはどういうことか
  • データセットの品質問題を見極める方法

データメッシュ文化への移行を進める際は、データリテラシープログラムを立ち上げ、ドメインエキスパートが分析とAIの取り組みを担う際に成功できるよう、トレーニングと教育に投資することが重要です。

NG:ガバナンスを放棄しないこと。データ品質はますます重要になってきています。

AIや機械学習モデルの裏にあるデータに信頼を置く必要があります。つまり、データ収集からモデルトレーニングまで、各工程にガバナンスを組み込む必要があるということです。

データメッシュは分散型のデータ所有を意味しますが、それはガバナンスや品質基準を無視していいということではありません。むしろ、ビジネスユーザーがAI/MLプロセスに深く関わることで、データ品質を高めるためのフレームワークを提供してくれるのがデータメッシュです。データメッシュの原則のひとつであるフェデレーテッドガバナンスは、ビジネスチーム全体にまたがるガバナンス体制の構築を支援します。

実践に向けたいくつかの提案(いずれもビジネス専門家とIT/データ専門家の協働が前提です):

  • クロスファンクショナルなデータガバナンス委員会を設立する
  • 定期的にデータの正確性監査を実施する
  • 明確なデータ基準を確立する
  • データ利用ポリシー案の策定

Alteryx AI Platform for Enterprise Analytics は、単にデータメッシュに対応しているだけでなく、その推進も可能にします。Alteryx AI プラットフォームは、ビジネスユーザーが自らデータを扱えるようにする、本当の意味でのセルフサービス型プラットフォームです。ドメインオーナーは、分析プロセスを主導するために必要な使いやすいツールと学習リソースを手にすることができます。

同時に、Alteryx はセルフサービスモデルに伴うガバナンスやインフラ要件にも対応しています。Alteryx は、Microsoft、Databricks、Snowflake などの基盤インフラに対し、使いやすい分析インターフェースを提供するため、各種ガバナンスポリシーやロールベースのアクセス制御にも準拠しています。また、Alteryx には注釈付きワークフローなど、各データ変換のステップを簡単に文書化できる監査機能も備わっています。

データメッシュ導入を検討中ですか?Alteryxの専門家にご相談いただくか、以下のリソースをご覧ください。

AWS + Snowflake + Alteryx: 技術ガイド
生成AI活用事例:業界を超えてイノベーションを加速