毎晩の両親とのFaceTimeで、孫たちと遊んだり、いつものようにその日の出来事を振り返ったりしている途中、両親から「AIは本当に今後10年で私たちを全滅させるのか？」と聞かれました。
この1週間の見出しを考えれば、その質問に驚きはありませんでした。フロンティアAI研究所の研究者や元従業員は、より高性能なシステムを目指す競争が、それらを理解し制御する私たちの能力を上回る速さで進んでいるとの懸念を公に示しています。Anthropicの元研究者 ジェイコブ・コクソン（Jacob Coxon）は、制御方法が分からないまま業界が自己改善型AIへと突き進んでいると警告しました。その懸念は、Anthropicのアラインメント責任者 エバン・フービンガー（Evan Hubinger）が、今後10年以内にAIが全人類を死に至らしめる確率は10%を超えると考えていると述べたことで、さらに強まりました。同時にAnthropicは、現在のAIシステムをサイバー作戦、監視、プロパガンダ、潜在的に危険な生物学研究に悪用しようとする試みを詳述したレポートを公開しました。
Box 最高情報セキュリティ責任者（CISO）
ヘザー・セイラン（Heather Ceylan）
こうした警告は真剣に受け止めるべきです。テクノロジーに最も近い人々がその方向性を懸念しているのであれば、私たちは耳を傾けるべきです。個人的には、今後10年でAIによって人類が絶滅する可能性が高いとは考えていません。現在のAIモデルには、自らの動機も、生存本能も、人を傷つけたいという欲求もありません。私たち全員を、あるいは誰かを殺そうと企んでいるわけではありません。
しかし、AIが悪意ある人の手に渡ったり、適切なガードレールなしに過剰なアクセス権や権限を与えられたりすれば、そのような動機がなくても深刻な被害を引き起こす可能性があります。必要なのは、目的、重大な影響を及ぼすシステムへのアクセス、そして監督する人間よりも速く、より大規模に行動する能力だけです。
これはSFではありません。すでに私たちが直面している現実的なセキュリティ課題です。
本当のリスクは動機ではなく権限
長期的なAI安全性への懸念を退けるべきだとは思いません。システムがより高性能かつ自律的になるにつれ、その境界がどこにあるのかを理解するために必要な研究、テスト、ガバナンスに投資すべきです。しかし、今日AIを責任ある形でどう使うかを決める前に、AIモデルがいつの日か何を「望む」かという大きな問いに決着をつける必要があるとも思いません。
現在のAIシステムは、複数のステップにわたって目標を追求できるため、目的を持っているように見えることがあります。しかし、それは人間の判断、価値観、意図と同じではありません。そして私の考えでは、AIが全人類を殺そうと企むことは、今最も懸念すべきリスクではありません。より差し迫ったリスクは、人々がAIシステムに、信頼に値することが確認される前から過剰な権限を与えてしまうことです。
あるテーマを調査し、メールを下書きし、ドキュメントを要約するよう求められるAIエージェントと、機密データ、ソースコード、金融システム、本番環境にアクセスして操作できたり、誰かに代わって行動できたりするAIエージェントとでは、まったく意味が異なります。
AIリスクを考える際、私は次のシンプルな式を使っています。
リスク = 能力 × アクセス × 自律性 × 規模
ツールとアクセスが厳密に限定された高性能なAIモデルは、広範な認証情報、曖昧な指示、アクションを実行する権限を持つ、それほど高性能ではないAIエージェントよりも、被害範囲を小さくできる場合があります。
それは、犯罪者がAIを使ってより説得力のある詐欺を行う場合でも、従業員が本来検証すべき回答を信頼してしまう場合でも、企業が十分な監督なしに重要な変更を行えるAIエージェントを導入する場合でも同じです。
私たちが懸念すべきこと
私が最も注視しているのは、信頼、詐欺、アクセス、説明責任という、よく知られた問題です。今ではそれらがマシンスピードで起きています。
- AIによって、欺くためのコストは下がり、説得力は高まります。 すでに、よりリアルなフィッシング、偽の音声、捏造された画像、ますます本物らしく見え、聞こえるメッセージが増えています。すべての偽物を一人ひとりが見抜くことを期待するのが答えではありません。特に金銭、認証情報、機密情報、緊急性が関係する場合、予期しない依頼を検証する習慣を取り戻すことが答えです。
- AIは、悪意ある人間の意図をさらに大規模に実行できるようにもします。 懸念すべきなのは、AIモデルが独自に誰かを攻撃しようと決めることよりも、悪意を持つ人が高性能なシステムを使い、より速く、より大規模に行動し、被害を与えるコストを下げられることです。
- 人間は、判断をあまりにも早くAIに委ねるようになります。 洗練された回答は、実際以上に信頼できるように感じられることがあります。採用判断、セキュリティ問題の評価、法的ガイダンスの解釈、何が真実かの判断にAIを使う場合、それは重要な問題です。AIは非常に有用なアシスタントになり得ます。しかし、説明責任のない意思決定者にしてはいけません。
AIエージェントがより高性能になるにつれ、問いは「このAIモデルは何を教えてくれるか？」から「このシステムは何ができるか？」へと変わります。重要なものへのアクセスをAIシステムに渡す前に、私たち全員が問うべきなのはこの点です。
私たちの注意をそらすべきでないもの
破滅的なAIリスクへの懸念は真剣に受け止めるべきですが、最も映画的な問題の姿に気を取られ、目の前にある、より難しく差し迫った取り組みから目をそらしてはいけません。
AIが目覚め、人類を傷つけようと決意するという話には、分かりやすい悪役が登場します。実際のリスクはそれほど劇的ではありません。人や企業が、重大な結果につながるインセンティブ、脆弱な制御、不十分な可視性、そして問題が起きたときに誰が責任を負うのか不明確な状態で、強力なシステムを導入することです。残念ながら、「不明確な責任の所在と過剰な権限」は、暴走するスーパーインテリジェンスほど注目を集める言葉ではありません。しかし、現実世界の多くの被害はそこから始まります。
新しいAIモデルがリリースされるたびに、制御を失ったと考えるべきではありません。人間らしい言葉と人間らしい判断を混同すべきでもありません。そして、パニックか無関心かという誤った二者択一を受け入れるべきでもありません。
もっと有用な中間地点があります。テクノロジーを使い、それがどこにリスクを生むのかを理解し、構築・導入する人々が結果に対する説明責任を負い続けることを求めることです。
一般の人に受け取ってほしいこと
この時代を生きていくために、テクノロジーの専門家である必要はありません。仕事や私生活でAIを管理する方法を学ぶうえで、私たち全員が覚えておける基本的なルールをいくつか挙げます。
- 予期しないメッセージ、電話、依頼は、別のチャネルを使って確認する
- AIツール、特に自分のファイル、メール、その他のアカウントに接続されたツールと共有する個人情報や業務情報について、慎重に考える
- 考える、学ぶ、創造するためにAIを活用しつつ、重要な意思決定では自分自身の判断を優先する
- シンプルな問いを投げかける: このツールはどの情報にアクセスできるのか？ 私に代わって何ができるのか？ そのアクションを確認したり、元に戻したりできるのか？
AI時代における最善の防御は、恐れることではありません。健全な懐疑心です。
セキュリティリーダーに受け取ってほしいこと
リーダーには、より重い責任があります。
中心となる問いは、もはや単に「このAIモデルは安全か？」ではありません。問うべきなのは、「このシステムには何が見えるのか？」「 何ができるのか？」「 誰が責任を負うのか？」 そして、「間違ったときにどう止めるのか？」 ということです。
AIモデルのガードレールは有用ですが、それだけでセキュリティ境界になるわけではありません。AIモデルを取り巻くシステムも同じくらい重要です。明確なID、限定された権限、機密データへのアクセス制限、影響の大きいアクションに対する人間の承認、信頼できる監査証跡、必要な場合にアクションを封じ込めたり元に戻したりできる能力です。
ダリオ・アモデイ（Dario Amodei）が最近提唱した「pace the frontier（フロンティアのペースを合わせなければならない）」という呼びかけに、私が注目する価値があると感じたのはこのためです。ポイントは、AIモデルが突然人類を傷つけようと決めるかもしれないから進歩を遅らせることではありません。ますます高性能になるシステムを評価、監視、制御する私たちの能力が、それらに与える能力や権限に後れを取らないようにすることです。
AIモデルが自ら適切に振る舞うことを前提に、重要な仕組みを構築すべきではありません。安全でないアクションを実行しにくくし、可視化し、元に戻せるシステムを構築すべきです。
目標はイノベーションを遅らせることではなく、イノベーションを大規模に信頼できるものにすることです。
AIは現実のリスクを生み出し、その一部は深刻なものになる可能性があります。しかし、恐怖は戦略ではありません。また、機械が人間のような動機を持つようになって初めてリスクが始まると装うことも戦略ではありません。私たちの目の前にある取り組みは、もっと現実的です。人間の説明責任を維持し、自律性に見合う制御を適用し、スピードが判断を追い越さないようにすることです。
AIは、被害を引き起こすために暴走する必要はありません。しかし、誰が、どのような条件でAIに権限を与えるのかを慎重に考え続けるなら、被害は避けられないものではありません。
関連コンテンツ
- AIシステムにおける「安全」の意味を捉え直す
- AIエージェントのセキュリティ: Box Agentのガードレールでイノベーションを妨げずに制御を実現
- プロンプトインジェクションからAIエージェントを保護する
- 信頼性の課題: AIエージェントを大規模に保護する
このブログは Box, Inc 公式ブログ（https://blog.box.com/）2025年9月21日付投稿の翻訳です。
著者: Heather Ceylan, Chief Information Security Officer at Box
原文リンク: https://blog.box.com/my-parents-asked-me-if-ai-going-kill-us-all-heres-what-i-told-them
