OpenAIが自己対戦型の安全性強化システム「GPT-Red」を公開した。攻撃AIと防御AIを戦わせ、脱獄耐性を自動で鍛えるという触れ込みだ。だが、この仕組みは本当にrobustnessを担保するのか。人間のレッドチームを消しにいくこの動きには、経営者が見落としてはならない構造的な落とし穴がある。
何が起きたか
OpenAIは7月16日、「GPT-Red」と呼ぶ新しい安全性強化フレームワークを発表した。仕組みはシンプルだ。攻撃側AIがモデルに対して悪意あるプロンプトや罠を仕掛け、防御側AIがそれを検知・遮断する。この自己対戦を大規模に繰り返すことで、脱獄（jailbreak）やプロンプト注入、機密情報の漏洩に対する耐性を自動的に鍛える。
これまで人間のレッドチームが数週間かけて手作業で洗い出していた脆弱性を、AI同士の対戦で連続的に発見・修正できる、というのがOpenAIの主張だ。しかも、モデルが賢くなるほど攻撃側も強くなる設計のため、防御性能が「モデル能力とセットでスケール」するという。OpenAIはこれを「robustnessの自己改善」と位置付けており、GPTシリーズの今後の安全レイヤーの中核に据える構えだ。
なぜこのニュースが重要か
このニュースを「安全性が上がって良かったですね」で済ませる経営者は、二年後に痛い目を見る。ポイントは三つある。
第一に、AI安全性の検証コストが「人手では絶対に追いつかない」という現実を、業界最大手が公式に認めた点だ。プロンプトの組み合わせは実質無限であり、人間の赤チームは所詮サンプリング検査に過ぎなかった。自動化が業界標準になれば、手作業の脆弱性検査しかしていない企業のAIは、規制当局と顧客の両方から「検証不足」と見なされる。
第二に、プロンプト注入対策は、業務AI導入における「ISO27001に匹敵する前提条件」に格上げされる。とくに金融、医療、法務でAIを導入する場合、GPT-Red相当の自動検証ログを提示できない導入は稟議を通らなくなる、と推定する。
第三に、これは静かな寡占の宣言でもある。自己改善型safety layerを持てるのは、大規模な計算資源と攻撃データを抱える一部企業だけだ。オープンソースLLMを自社運用している企業は、robustnessの証明責任だけを一方的に背負わされる。
過剰評価への反論
ここからが本題だ。私はGPT-Redを額面通りには受け取らない。
第一の疑念。自己対戦で鍛えられるrobustnessは、「攻撃AIが思いつく範囲」のrobustnessでしかない。囲碁のAlphaZeroが自己対戦で強くなったのは、ルールが閉じていたからだ。プロンプト攻撃は自然言語であり、社会的文脈、ニュース、内部告発、ソーシャルエンジニアリングと結びつく開放系である。攻撃AIがモード崩壊を起こし、似たパターンばかり生成し始めれば、防御側は「見たことのある攻撃」にだけ強い、脆いモデルに退化する。OpenAIが多様性をどう担保しているかは、現時点の公式発表からは読み取れない。
第二の疑念。人間のレッドチーム軽視は危険だ。実世界の脱獄は、しばしば「AIが想定していない倫理的グレーゾーン」から来る。児童保護、政治的表現、宗教的タブー。これらは技術的攻撃ではなく、価値判断の攻撃である。AI対AIの自己対戦は、この領域を原理的にカバーしきれない。「自動化が人手を代替する」ではなく「自動化は人手のスコープを狭めるだけ」と読むべきだ。
第三の疑念。「賢くなるほど安全になる」という設計思想は、裏を返せば「賢くなければ安全にならない」ということでもある。中小規模モデルや自社ファインチューニング済みモデルにこの手法が適用可能かは不透明で、実質的にOpenAI最上位モデルへのロックインを強化する装置として機能する可能性が高い。安全性の名を借りた囲い込みだ、と私は見ている。
経営者として次に取るべき動き
第一に、自社で稼働中のAIについて「攻撃検証ログ」を今週中に棚卸しせよ。誰が、いつ、どんな攻撃パターンで検証したのか。記録がなければ、それは検証していないのと同じだ。顧客監査の場で必ず問われる。
第二に、レッドチーム機能を「外注」ではなく「制度」として社内に置け。四半期に一度、業務部門と情報システム部門合同で、AIに対する攻撃演習を義務化する。GPT-Redのような自動化が普及するほど、逆説的に「人間にしか思いつかない攻撃シナリオ」を持つ組織が希少価値を持つ。
第三に、ベンダーロックインの再評価をせよ。OpenAIの安全性機能に依存する構成は運用は楽だが、価格改定と契約変更のリスクを一手に負う。マルチベンダー構成と、自社側で独立してrobustnessを検証する能力を、今から確保しておくべきだ。安全は買うものではなく、持つものである。