エンタープライズAIの根本的な課題は、機能ではなく、信頼性です。
データベースをクエリすると、毎回同じ結果が返ってきます。しかし、同じプロンプトでLLMに複数回クエリすると、毎回全く違う結果が返ってくることがあります。微妙な変化である場合もあれば、一見正しいように見えても、実際には完全に作り出されたハルシネーションである場合もあります。
AIエージェントから信頼性が高く一貫した結果を導き出すには、どうすればよいのでしょうか？ Boxは、その答えは単一の技術ではなく、複数の手法を丁寧に組み合わせることにあると考えます。
実業務で正確な情報を得ることの難しさ
典型的なシナリオを見てみましょう。契約書の支払い情報を見つけたい場合は、AIに「支払い条件は何ですか？」と質問するかもしれません。しかし、適切に設計されたソリューションでなければ、「30日以内」という回答は得られても、正確な支払い期限はわからないかもしれません。契約書が1、2ページを超えると、ソリューションはセクション間の情報の関連性に苦労するでしょう。契約書に表がある場合は、全く意味不明な文字列の羅列が返ってくることもあります。
数千件の請求書、契約書、規制文書を処理する場合には、こうした問題が業務プロセスの自動化を困難に、あるいは不可能にします。本当に必要なのは、質問を解し、コンテキストを深く理解して、正確で実用的な答えを提供し、そのプロセスを毎回一貫して効果的に繰り返すことができるソリューションです。
Box Extractが、それを実現します。
信頼性パイプライン
Boxの手法は、AIモデルを、複数レベルの制御、データ、ツール、ガードレール、そして目標を必要とする強力なコンポーネントとして扱うことです。
モデルオーケストレーション
Boxは、プラットフォームに依存しないセキュアなパイプラインを通じて、利用可能な最適のAIモデルをオーケストレーションします。温度調整、出力制約、マルチモデルアンサンブル検証に加え、エージェント推論とプロンプト最適化を組み合わせることで、すべての結果を正確で一貫性があり、決定論的にします。
ドキュメント準備
適切に準備されたドキュメントは、結果の精度を飛躍的に向上させます。メタデータ抽出を行う前に、LLMの理解度を最大限に高め、曖昧さを最小限に抑えるために、クエリ対象となるドキュメントを準備します。これには、光学文字認識（OCR）、レイアウトと構造の解析、セクションの識別、コンテキストの保持が含まれます。
メタデータ抽出とセマンティックオーケストレーション
このフェーズでは、まずレイアウトを詳細に理解し、表、フォーム、ヘッダーなどの構造要素を特定することで、素のコンテンツを構造化されたアウトプットに変換します。次に、セマンティックグループを作成し、レイアウトの種類に基づいて関連するコンテキストを適用します。最後に、マルチモデルアンサンブルと特殊なフィールド指示を活用して、基盤となるAIモデルが値を検出して抽出できるようにガイドし、複雑なドキュメント構造からも正確な結果を導き出せるようにしています。
アウトプットの検証
出力結果を検証するために様々な技術を用いています。たとえば、アンサンブル検証では、複数のLLMに同じ質問をに投げかけて、結果を比較します。また、ドキュメント内の情報に基づいて結果を算出する場合もあります。これらの技術によって得られるシグナルの妥当性は、外部システムへのAPIコールによって確認できます。
信頼度スコアリング
すべてのメタデータ抽出には、信頼度スコアが付与されます。これは単なるAIモデルの信頼度ではなく、 複数の要素に基づいた体系的な評価です。
- AIモデルの一致度（アンサンブルを使用する場合）
- プロンプトの特異性の一致
- 類似した抽出の過去の精度
- ドキュメント品質の指標
必要に応じて、フィールドごとに信頼度スコアを提供し、後続のワークフローを支援します。
ヒューマンインザループのしきい値
リスク許容度に基づいて特定の信頼度しきい値を設定できます。そのしきい値に満たない抽出結果は、Box Extractによって人間のレビューに回されます。これらの更新情報は、今後の作業のためにBox AI抽出エージェントに重要なシグナルとして提供されます。
評価: 正確さの基盤
Box Extractでは、AIエージェントが学習し、反復的に改善できるように、ユーザーが評価データセットを構築できます。たとえば、30件の請求書から15項目をメタデータを抽出するとします。そして、すべての請求書で、フィールドのメタデータ値が正しいか確認します。これが、グラウンドトゥルースを含む初期の評価セットになります。そしてBox Extractは、利用状況から収集されたシグナルやヒューマンインザループ（HITL）レビューによる修正を通じて、このナレッジベースを継続的に追加し、進化させます。
Box Extractのグラウンドトゥルースアプローチを特に強力にしているのが、継続的な学習機能です。抽出されたメタデータをユーザーが修正する（たとえば「Kelash Kumar」を「Norbert Raus」に変更する）と、その修正内容がグラウンドトゥルースにフィードバックされ、Box AI抽出エージェントの結果を改善するために活用されます。
これらのステップすべてが、好循環を生み出します。
- 初期のグラウンドトゥルースにより、システムはAIエージェントの評価し、構成できます
- 信頼度スコアリングにより、不確実な抽出結果を特定できます
- 人間のレビューにより、エラーが訂正されます
- 修正により、グラウンドトゥルースが強化されます
- システムは、拡張されたグラウンドトゥルースに基づいて再最適化されます
Box Extractは、時間の経過とともに、お客様固有のドキュメントの種類とメタデータ抽出の要件に合わせて進化していきます。
次に、AIを活用した最適化システムで、評価に基づいて抽出プロンプトを自動的に生成し、改良します。そして、既知の正解に対して精度を最大化するプロンプトの構成を見つけて出します。Box Extractは、シミュレーションを実行し、テストを行い、フィールドごとに異なるプロンプトのバリエーションについて推論します。たとえば、日付を抽出する場合に、あるドキュメントについては「請求書の日付を見つける」よりも「ヘッダーの後の最初の日付を見つける」方が効果的であると学習します。これらの最適化は、自動的かつ継続的に行われます。
実際の実装
ベンダー契約書を処理していて、支払い条件、賠償責任限度額、解約条項を抽出する必要があるとします。Box Extractは、次のように処理します。
1. ドキュメントの取り込み
契約書をセグメント化して、関連するセクションを特定します。
2. プロンプトの最適化
グラウンドトゥルースに基づいて、Box Extractは各フィールドのプロンプトをすでに最適化しています。支払い条件については、特定のキーワードや数値パターンを探すことをすでに学習しているかもしれません。
3. エージェント型メタデータ抽出
Box AI抽出エージェントを実行して各フィールドに対して複数の結果を得て、推論を適用して相互依存するフィールドを特定し、必要なコンテキストを構築するために反復処理を行います。
4. 信頼度スコアの計算
Box Extractが、アウトプットを比較します。3つのAIモデルすべてが「支払い条件は、NET30（請求書発行日から30日以内）」で一致すれば、信頼度スコアは高くなります。回答が一致しない場合は、信頼度スコアは低くなります。
5. しきい値の適用
支払い条件の信頼度に対して高いしきい値を設定した場合、 しきい値を下回る結果は、レビューのために人間にルーティングされます。
6. 人間による確認
フラグが立てられた結果を人間が確認し、修正を加えると、グラウンドトゥルースにフィードバックされます。
7. 継続的な改善
Box Extractは、拡張されたグラウンドトゥルースに基づいてプロンプトを継続的に最適化し、抽出の精度を向上させます。
このプロセスは、時間の経過とともに、レビューエージェントにフィードできる定義済みのルールに基づく自動検証ロジックによってさらに最適化されます。最終的には、人間による確認を最小限に抑えつつ、正確で信頼性の高い抽出結果を提供することを目指しています。
精度自動化曲線
Boxは、精度自動化曲線を押し上げることで、効果を測定しています。グラフのX軸が精度、Y軸が自動化になります。Boxは、右上（より高い精度と自動化）を目指しています。
Boxは、自動化レベルを最大化するために、Box AI抽出エージェントを最適化しています。自動化レベルとは、所定の精度しきい値を達成するために検証が必要な抽出結果の数によって定義されます。お客様は、メタデータ抽出プロセスを自社のワークフローの要件に合わせて調整することができます。継続的に学習するエージェント型データ抽出ステップを用いることで、求められる精度を維持しつつ、検証回数を最小限に抑えるように、Box AI抽出エージェントを最適化しています。
メタデータ抽出を超えて
Box Extractの手法は、エージェント型AIシステムにも広く適用できます。信頼性の高いアウトプットを必要とするAIシステムは、次のメリットを享受できます。
- 乱雑な動作ではなく確率的な性質を含む階層化された信頼度アーキテクチャ
- 使用を重ねるごとに改善される進化する評価セット
- 手動チューニングなしにパフォーマンスを向上させる自動最適化
- 速度と精度のバランスを微調整できる柔軟なしきい値
- 修正を改善につなげるフィードバックループ
このアプローチは、まだ初期段階です。AIモデルが進化し、ベースラインの精度が向上するにつれて、Box Extractも進化します。
- 専門化されたグラウンドトゥルースネットワーク: 業界が匿名化されたグラウンドトゥルースを共有することで、類似するドキュメントの種類間で抽出精度の向上を図ります
- 適応的信頼モデル: 抽出エラーと相関するドキュメントの特徴を学習し、それに応じて信頼度を調整します
- 階層的検証: より高性能なAIモデルを用いてより高速で軽量なモデルのアウトプットを検証することで、精度を犠牲にすることなく効率性を高めます
- 業界固有の最適化: 業界用語、ドキュメント構造、抽出要件を理解するプロンプトエンジニアリングを自動化します
エンタープライズAIの未来へ
エンタープライズAI導入への道のりは、完璧なAIモデルではなく、綿密に調整されたシステムを通じてです。Box Extractのリリースは、単なる製品をリリースではありません。Boxは、1つの哲学を提案しています。エンタープライズAIの力は、信頼性にあるということです。AIへの信頼は、学習し、記憶し、企業が必要とする正確性を確実に提供するシステムの構築から生まれます。
Boxは、1件1件のメタデータ抽出を通じて、この未来をまさに築いていきます。
※このブログは Box, Inc 公式ブログ（https://blog.box.com/）2026年1月16日付投稿の翻訳です。
原文リンク: https://blog.box.com/how-box-extracts-agentic-ai-delivers-consistent-trustworthy-results
関連コンテンツ
