企業がAIの実証実験から実際のワークフローへの導入へと移行するにつれ、人による監督をめぐる議論も進化させていく必要があります。
「Human-in-the-Loop（人の関与）」を維持することについて、よく耳にします。多くの場合、それは意思決定が行われたりアクションが実行されたりする前に、AIが生成した内容を人が確認することを意味します。多くの組織にとって、これは適切なスタート地点です。テクノロジー、データ、またはプロセスがまだ検証段階にある場合、人による確認が重要なセーフガードとなります。
しかし、すべてのAI出力を手作業でレビューすることは、拡張性のある運用モデルではありません。
今求められているのは、プロセスのより早い段階に人間の判断を移行し、ビジネスコンテキスト、ルール、ガードレールによってエージェントの動作を導けるようにすることです。
ビジネスの専門知識をワークフローに組み込む
私はそのシフトを「組み込み型の監督」と呼んでいます。
AIが回答を生成した後に人が問題を発見することに頼るのではなく、AIが動作する前にドメインエキスパートの知識をワークフローに組み込むことができます。
結局のところ、業務プロセスに最も近い人々は、通常そのニュアンスを誰よりも理解しています。
財務アナリストは、どの差異について調査が必要であるかを把握しています。請求の専門家は、どのような情報の組み合わせに対して追加の精査を行うべきかを理解しています。税務専門家は、特定の管轄区域にどのルールが適用されるかを把握しています。オペレーションリーダーは、例外が重要な意味を持つ場合と、単なる通常の変動に過ぎない場合を理解しています。
その知識はAIにとって非常に価値があります。
目標とすべきは、AI搭載システムが一貫して従うことができる再利用可能なルール、ワークフロー、閾値、ガードレールへと変換することです。その同じ原則は、当社の信頼できるAIのためのVURAフレームワークにも反映されています。AIが大規模に信頼性高く機能するためには、その背後にあるワークフローとビジネスロジックが可視化可能、理解可能、再現可能、監査可能である必要があります。
組み込み型の監督は、エージェントが動作する前に人間の専門知識をプロセスに取り入れることで、こうした原則の実践に役立ちます。
組み込み型の監督とは実際にどのようなものか
これがどのようなものか、2つの例を挙げてご紹介します。実際のワークフローで見てこそ、この考え方が実感できると思うからです。
1つ目は、月末の貸借対照表の照合を行う財務チームの例です。このワークフローは、仕訳データ、PDF、ERPシステムからの抽出データを取り込み、30日分の日次計算を集計します。通常はバックグラウンドで実行されます。しかし、例えばその30日間の期間中に特定のベンダーで説明のつかない大幅な変動があるなど、異常を検知した場合は処理を停止し、Eメールまたはプラットフォーム内のポップアップでアラートを送信します。
アナリストは、ワークフローが続行される前に、数値を承認、拒否、または修正できます。照合のすべての行を手作業で確認する人はいません。人の注意はまさに必要な箇所にのみ向けられ、それ以外の場所には向けられません。
2つ目は、当社の保険パートナーの1社からの事例です。自動車事故を報告する人との初期対応におけるやり取りを、AIが担います。ほとんどの場合、そのやり取りは定型的です。しかし、たとえば保険金請求者が車両を100万ポンドと評価している一方で、ナンバープレートがはるかに安価なメーカーとモデルに一致するなど、何かに不整合がある場合、ワークフローは一時停止し、保険金請求担当者を呼び出します。
担当者は、持ち込まれるすべての請求を確認する必要はありません。数値の辻褄が合わなくなったまさにそのタイミングで対応し、不一致を確認して、本来人が行うべき判断を下します。
どちらの例も、その土台となる仕組みは同じです。エージェントに何を許可するかは、事前に誰かが決定していました。ワークフローはその制限の範囲内で実行され、制限に達した瞬間に停止しました。人間はプロセスの最後でボトルネックになっていたわけではありません。人間が関与していたのは、ワークフローが実行される前の、プロセスの最初の段階で行われた意思決定でした。
これがアナリストに与える影響
組み込まれた監視体制がアナリストの業務にどのような影響を与えるか、よく質問を受けます。私の見解としては、アナリストはエージェントの管理者になるということです。
業務を適切に遂行するために必要なビジネスロジックを提供し、推測するのではなく処理を停止して確認を求めるタイミングを指示する閾値を設定し、ビジネス自体の変化に合わせて調整しながら意思決定の背後にあるロジックを見直します。
こうした責任には、優れたアナリストをすでに価値ある存在にしている多くのスキルが必要です：ビジネスコンテキスト、データリテラシー、批判的思考、そしてプロセスが実際にどのように機能しているかに対する理解。
ヒューマン・イン・ザ・ループの次のフェーズ
エンタープライズAIが成熟するにつれ、成功の尺度はプロセスから人間をいかに完全に排除できたかではなく、人間の専門知識をいかに効果的に活用できるかによって測られるようになると考えます。
一部の意思決定においては、依然として人間による明示的な承認が必要であることを意味します。また別の意思決定では、AIを監視し、必要に応じて介入することを意味します。そしてますます、信頼できるデータ、ビジネスルール、ワークフロー、ガードレールを通じて、プロセスの初期段階で人間の判断を取り込むことを意味するようになります。
それこそが、ヒューマン・イン・ザ・ループが向かっている方向です。
人間の判断をフロントエンドにシフトすることで、エンタープライズが結果を信頼するために必要なコンテキスト、制御、説明責任を損なうことなく、AIにより多くの運用の余地を与えることができます。