企業におけるAIガバナンスをめぐる議論は、新たな局面を迎えています。ここ数年、その焦点の多くは、AIシステムがいかにして回答を生成するかを理解することに当てられてきました。しかし、自律型AIエージェントの登場により、今までとは異なるより実践的問いが浮上しています。それは、「AIシステムが自ら行動を起こせるようになったとき、実際に何を行ったのかをどう把握するか？」という点です。
リポジトリの検索、ドキュメントの取得、ワークフローの開始、レコードの更新、他システムとの連携、そしてユーザーの代理としての行動といった機能を備えたAIエージェントを構築・導入するにつれて、この問いの重要性はますます高まるでしょう。システムの能力が向上するほど、プロンプトとアウトプットという観点だけでガバナンスを考えることの有用性は薄れていきます。企業には、AIエージェントにどのような権限が与えられ、どのような情報にアクセスし、どのようなアクションを実行し、どのような記録を残すのかを把握することが求められます。
エージェントガバナンスにおける次なる基準となるのは、「制御」を実証する能力です。企業は、AIエージェントが明確な境界線の中で動作し、既存のアクセス権限や情報管理規定を遵守し、かつ代理として行動する対象である人間やシステムに対して説明責任を果たしていることを示す必要があります。
エージェントガバナンスは、実用的なガードレールを設けることから始まる
その第一歩となるのが、実用的なガードレールの設定です。AIエージェントが、企業内で既に適用されている統制を回避する手段となってはなりません。ユーザーがアクセス権を持たない制限付きファイルには、そのユーザーの代理として動作するAIエージェントもアクセスできないようにする必要があります。外部への共有が禁止されている文書を、AIエージェントが配布することも許可されるべきではありません。さらに、機密性が高い、取り返しがつかない、あるいは影響の大きい操作を行う場合には、人間による適切な確認プロセスを設ける必要があります。
AIエージェントが、企業内で既に適用されている統制を回避する手段となってはなりません。
目的は自律性を排除することではなく、AIエージェントを適切に管理可能な状態にすることです。リスクが低く、かつ取り消し可能なアクションであれば、人間の監視を最小限に抑えるか、あるいは監視を全く行わずに自動実行させることが適切かもしれません。一方で、情報の削除、権限の変更、機密データの転送、重要な企業情報の外部公開といった、重大な結果を招く可能性のある活動については、より厳格な管理が求められます。AIエージェントを効果的に管理するには、人間が関与するプロセス（ヒューマンインザループ）や適切な基本管理策を経ることなく、取り返しのつかない重大な決定が下される事態を防ぎ、リスクを低減する必要があります。要するに、監視や管理のレベルは、そのアクションが及ぼし得る影響の大きさに応じて決定されるべきなのです。
より困難な課題は、多くの場合、AIエージェントが作業を完了した後に生じます。監査人、顧客、セキュリティチーム、ユーザーは、どのAIエージェントがその活動を実行したのか、誰がそれを開始したのか、どのような情報にアクセスし、何に基づいて判断や実行を行ったのか、どのようなツールを使用したのか、何を作成または変更したのか、そしてプロセスのどの段階で人間による承認が行われたのかを把握する必要があります。最終的には、十分な監査証跡が確保されている必要があります。
現在、こうした情報への回答は、アプリケーションログ、ID管理システム、セキュリティツール、AIモデルのレコード、コンテンツリポジトリなどに分散していることが一般的です。個々のシステムが情報の断片を保持していることはあっても、全体的なコンテキストを網羅的に記録しているものはほとんどありません。これは、コンプライアンスや運用面において重大なギャップを生じさせます。個々のイベントが発生した事実を把握していても、それらがどのように関連し合っているのかを説明できないという事態に陥りかねないのです。
従来のアクティビティログの枠を超えたレコードの構築
従来のログでは、ファイルが開かれたことや権限が変更されたことは確認できても、なぜAIエージェントがその操作を行ったのか、誰の代理として動いていたのか、どのようなタスクを割り当てられていたのか、その過程でどのような制御が適用されたのかまでは説明できない場合があります。事後にそうした経緯を再構築しようとすると、時間やコストがかかるうえ、情報が不完全になる恐れがあります。
より適切なアプローチは、すでに採用している制御策をAIエージェントの運用そのものに組み込み、必要に応じて、個々のユースケースやリスクプロファイルに合わせて既存の制御策を拡張・強化することです。AIエージェントがワークフローに導入される場合でも、ID・アクセス管理、データ分類、保持ポリシー、リーガルホールド、インシデント対応、監査ログの記録といった基本事項は引き続き適用されるべきです。AIエージェントの導入によって、こうした制御策を一貫して適用することの重要性はむしろ高まります。
AIエージェントの活動レコードとしてのセッションガバナンス
ここで特に重要となるのが、セッションガバナンスです。AIエージェントのセッションにおけるトレーサビリティは、開始から終了までの一連の出来事を記録する基本情報となります。有用なセッションレコードには、誰がタスクを開始したか、どのAIエージェントが動作したか、どのような目的が与えられたか、どのシステムやドキュメントにアクセスしたか、どのような権限が確認されたか、どのようなアクションが提案・実行されたか、人間の承認が必要だったか、そして最終的な結果はどうだったか、といった情報が含まれます。セッションレコードは、プライバシーやセキュリティ、その他の適用される要件への準拠を証明するためにも適切に保持される必要があります。
アクティビティログとセッションガバナンスの間には重要な違いがあります。アクティビティログでは、単にあるファイルにアクセスがあったことしか分からないかもしれません。一方で、セッションガバナンスは、従業員がAIエージェントに顧客向けブリーフィング資料の作成を依頼した、AIエージェントは許可された3つのドキュメントにアクセスしたが制限付きフォルダへのアクセスは拒否された、外部への共有を試みた際に承認待ちとして一時停止された、といった詳細な経緯が明らかになります。企業として何が起きたのかを把握する必要がある場合、こうした詳細なレコードの方がはるかに有用です。
これらの管理機能は、リアルタイムで機能する必要があります。ポリシーの策定、コミッティーによる検討、定期的なレビューは依然として重要ですが、それらだけでは自律型システムによるあらゆるアクションを監視することはできません。AIエージェントを導入する前に、権限、アクセス制限、共有制限を確認し、最終的なテストを行うとともに、導入後も定期的な検証を行う必要があります。特に、AIエージェントが重大な結果を招く可能性のあるアクションやリスクの高いアクションを行う場合には、不可欠です。そのような場面では、承認プロセスを組み込み、人間が関与する体制（ヒューマンインザループ）を整えることが極めて重要になります。こうした管理機能やプロセスを適用することで、監査や説明責任への対応が可能な包括的なセッションレコードが作成されます。AIエージェントの変更が必要になった際に、改善すべき点を特定するのにも役立ちます。
自律型エージェントの活用に成功する企業とは、AIエージェントがどのように統制されているか、何を行うことが許可されているか、そして疑問が生じた際にそのアクションをどのように理解・説明できるかを示せる企業です。企業向けAIの次のフェーズにおいて、信頼はイノベーションの足かせにはなりません。むしろ、イノベーションを持続可能なものにし、エージェントガバナンスを戦略的な優位性へと変える原動力となるのです。
このブログは Box, Inc 公式ブログ（https://blog.box.com/）2025年7月30日付投稿の翻訳です。
著者: Leah Perry, Chief Privacy Officer, Box
原文リンク: https://blog.box.com/agentic-guardrails-next-stage-ai-governance-control
関連コンテンツ
