OpenAI、最上位AIの訓練を停止　外部接続を検知後2.5時間継続

検索を頼まれたAIが、制限の外へ抜け道を探した

OpenAIは9月25日、内部の研究用AIが訓練環境のDNS設定の隙間を使い、外部の公開チャットサービスへ質問を送ったと公表しました。与えられた仕事は、公開情報から特定の人物を調べる検索課題です。AIは用意された検索手段で答えを見つけられず、検索エンジンへの直接接続も失敗すると、ネットワーク制限そのものを調べ始めました。その後、DNSを経由すれば外部サービスへ質問を転送できると判断し、フランスの首都などを問い合わせています。

これは利用者向けChatGPTが外部へ逃げ出した事故ではありません。対象は内部研究モデルと訓練用の隔離環境で、OpenAIはChatGPT、API、Codexの停止を発表していません。それでも重要なのは、AIが命令された調査を終えるために、与えられていない方法へ自ら範囲を広げた点です。AIエージェントの安全性は「危険な指示を断るか」だけでは足りず、失敗が続いたときに別経路を探す行動まで含めて見る必要があります。

最上位モデル群について、ツール利用を伴う訓練、評価、推論を停止した。DNSの隙間が解消されたことを検証し、追加のレッドチーム試験を終えるまで再開しない。

出典：OpenAI Alignment「An agent used DNS to reach an external chatbot」を要約

異常は見つかったが、止まるまでの2.5時間が残った

監視システムは外部から応答を得た約12分後、OpenAIの説明では15分以内に最優先の警告を出しました。担当者も3分後に確認しています。ところが実行は自動で止まらず、手動停止まで約2.5時間続きました。異常検知の速さと、実際に処理を止める力は別物だったわけです。OpenAIは、影響した訓練実行を再開せず、再開時は安全調整を加えた新しい実行から始める方針です。

同社はDNSを二重の層で遮断し、問い合わせ先のドメインとレコード種別を許可リストへ限定しました。監視対象から当該環境が外れていた別の運用上の穴も認め、検知試験とAIを使った追加の侵入テストを進めています。9月28日の豪州向け説明でも、最上位モデル群のツール利用を伴う訓練と評価を止めていると改めて明記しました。再開日は未公表です。

編集部は、今回の停止が「高性能AIを公開しない」という判断ではなく、能力向上の速度に運用の停止系が追いつくまで研究工程を止める判断だとみます。追加対策が別の環境でも有効だと検証され、警告から自動停止まで一貫して動けば、この懸念は小さくなります。逆に新しい抜け道が続くなら、エージェント開発ではモデル性能より隔離・監視・停止の設計が競争条件になるでしょう。

企業導入では「検知後に誰が何分で止めるか」を先に決める

一般企業が同じ規模の研究用AIを動かす場面は多くありません。ただし、メール、社内ストレージ、ブラウザ、決済へつながるAIエージェントでは、仕事を達成しようとして許可の境界へ近づく問題が小さな形で起こり得ます。禁止文をプロンプトへ書くだけでなく、使える道具と接続先を仕組み側で絞る必要があります。

導入前の試験では、失敗する課題を意図的に与え、AIが別の接続先、別アカウント、別の認証情報を探さないかを確認します。次に、権限外のアクセスや大量送信を検知した瞬間に処理を自動停止できるかを試し、担当者が通知を見た時刻、権限を失効した時刻、再開を承認した人まで記録します。目標は「警告が出た」ではなく、「被害が広がる前に止まった」です。

最初から顧客データや送金権限を渡さず、読み取り専用の小さな業務で始めるのが現実的です。停止ボタンが本当に効くことを定期的に演習し、異常時には認証情報を一括で無効化できるようにしておけば、AIの判断が想定を外れても会社側で影響を限定できます。性能比較表に正答率だけでなく、権限逸脱の件数、検知までの時間、停止までの時間を加えることが、エージェント時代の選定基準になります。