Boxでは、お客様が日々実行しているワークフローを反映した複雑で複数のドキュメントにまたがるビジネスタスクでAIモデルを評価しています。各タスクはAIエージェント用ハーネス上で実行され、AIモデルには適切なドキュメントを見つけ、スプレッドシート、PDF、プレゼンテーション、画像を横断して推論し、ナレッジワーカーがそのまま引き渡せる完成した成果物を作成することが求められます。成果物には、コスト分析、デューデリジェンスの調査結果一覧、検証監査などがあります。
OpenAIのGPT 6 Astraは、今回の評価でフロンティアレベルのパフォーマンスを達成しました。総合精度は77%で、比較対象としたGPT 5.6 Solの74%を上回りました。
最も難易度の高いワークフローで精度が向上
GPT 6 Astraは、文書間で内容に矛盾がある場合や、成果物に含めるべき図表が提供されていない場合、さらには定量的なデータと、記述的な情報、契約関連の資料、あるいは特定の専門領域に関する資料との整合性を取る必要があるといった、特に難易度の高いワークフローで強みを示しました。
今回の評価に含まれる4つのタスクでは、以下のような結果となりました。数値は、各タスクを複数回実行した結果を平均し、GPT 5.6 SolからGPT 6 Astraへの精度向上を示したものです。
- メディア・エンターテインメント（48%から100%）: 4つのチームから集めた1年分の制作データをもとに、映画ジャンルと国別を収益性の高い順にランキングするタスクです。難しい点は、翌年の税制優遇措置による修正を二重計上せずに適用することでした。GPT 6 Astraはすべての試行で完全に正解しました。GPT 5.6 Solはランキング自体は正しかったものの、その根拠となる比率が誤っていました。
- テクノロジー（69%から97%）: パフォーマンスとインフラに関する複数のドキュメントから、どの地域に優先的に投資すべきかを判断するタスクです。ところが、依頼内容で求められている指標はどの資料にも明記されていません。GPT 6 Astraはその不足を指摘し、自ら算出した数値を代理指標であると明示したうえで、根拠となる数値と一致しない成長率の主張も見つけました。GPT 5.6 Solは、代理指標を実際の指標として報告しました。
- 法務（69%から93%）: NDAを企業の契約ポリシーと照合してレビューするタスクです。このタスクでは、正しい結論に到達するだけでは不十分で、その根拠となる条項を示す必要があります。両AIモデルともドラフトの承認を見送りましたが、GPT 6 Astraだけが、責任上限の構造が許容されるかどうかと、その金額が妥当かどうかを分けて判断し、その判断を確定するポリシーの文言を示しました。GPT 5.6 Solも同じ結論を主張しましたが、根拠条項を引用しておらず、法務業務では重大なエラーとなります。
- エネルギー（82%から97%）: 1年分のメーターログをもとに、2つの施設の消費量レポートを作成するタスクです。実際にデータが欠落していたのは2施設のうち1つだけでした。GPT 6 Astraはその欠落を特定し、多くのレビュー担当者が見落としかねない違いも見分けました。もう一方の施設の不自然な太陽光発電の測定値は、記録の欠落ではなく、調査すべき測定上の問題だと判断しました。GPT 5.6 Solは、両方の施設でデータが不完全だと報告しました。
お客様にとっての意味
Boxのお客様にとって、これは単なるベンチマーク上の改善ではありません。もっともらしく見えるアウトプットと、従業員が自信を持って行動に移せる成果物との違いです。GPT 6 Astraにより、Box Agentは、代理指標と検証済みの指標を区別し、法的な結論を根拠となるポリシーまでたどり、データ品質の異常と実際の情報欠落を切り分けることができます。その結果、AIモデルの作業を確認する時間を短縮できるだけでなく、初期段階の誤りが重要な意思決定に持ち込まれるリスクも低減できます。GPT 6 Astraは、要求の厳しいワークフローを大規模に自動化することをより現実的なものにし、信頼できる企業コンテンツを、意思決定にすぐ活用できる洗練された成果物へと変えます。
GPT Astraは、まもなくBox AI Studioで利用可能になる予定です。Box AIの詳細をご覧いただき、Box AI APIを使用した構築方法をご確認ください。
関連コンテンツ
- First look: Claude Fable 5.1が複雑な企業業務における精度、レイテンシ、効率性を向上
- Box AIとは？
- Box AI Studioのご紹介: お客様独自のビジネスニーズに合わせてAIをカスタマイズ
- OpenAI GPT-5.4が複雑な企業文書や業界特化のメタデータ抽出を向上させる
このブログは Box, Inc 公式ブログ（https://blog.box.com/）2025年9月3日付投稿の翻訳です。
著者: Aditi Tuli, Product Manager, Box AI
原文リンク: https://blog.box.com/first-look-gpt-6-astra-frontier-complex-enterprise-work
