ホワイトサークルが発表した新攻撃手法『RISE』が、googleのナノバナナ2、OpenAIのDALL·E 3およびGPT Image 2の安全対策を突破した。注目すべきは、新しいモデルほど突破成功率が2倍以上に跳ね上がった点だ。性能競争の裏で安全性が置き去りにされている構造を、経営者は直視すべきである。
何が起きたか
セキュリティ企業ホワイトサークルが、画像生成AIの安全対策を突破する新手法「RISE」を公開した。従来のジェイルブレイクはプロンプトの文言を人間が書き換える素朴なものだったが、RISEは攻撃戦略そのものをAIに考案させ、自動的に改良ループを回す。いわば攻撃側のAIが防御側のAIを「学習」して穴を見つける構造だ。
検証対象はDALL·E 3、ナノバナナ2、GPT Image 2の3モデル。いずれも突破に成功し、しかも新しいモデルほど成功率が2倍以上に上昇した。ホワイトサークルのCEOは、新モデルで防御が弱くなる原因を「安全性より性能向上が優先されているため」と断言している。研究チームはAI開発企業の自主評価では不十分であり、第三者機関による検証を必須条件にすべきと訴えた。
なぜこのニュースが重要か
このニュースの核心は「突破された」ことではない。突破は想定内だ。本当に重要なのは、新しいモデルほど脆弱という逆進性である。普通の工業製品は世代を重ねれば安全性能も向上する。自動車は50年前より確実に安全になった。だが生成AIは逆だ。性能ベンチマークで競合に勝つための最適化が、ガードレールを削る方向に働いている。
これは単なる技術的欠陥ではなく、業界構造の問題だ。googleもOpenAIも、四半期ごとに「最高性能モデル」を発表する競争に組み込まれている。安全性テストに時間をかければリリースが遅れ、株価と採用競争で負ける。結果、安全対策は後付けのフィルター層に押し込まれ、RISEのような自動化攻撃に数日で突破される。
企業ユーザー側のリスクは明確だ。自社サービスに画像生成AIを組み込んでいれば、顧客が意図的に、あるいは第三者経由で不適切画像を生成した瞬間、ブランド毀損・法的責任・プラットフォームBANが連鎖する。ベンダーの「安全です」という自己申告を信じた者から順に、炎上の当事者になる。
過剰評価への反論
ここで多くの評論家は「AI企業はもっと安全性に投資すべきだ」と締めくくるだろう。私はその議論を浅いと断じる。真の問題は、安全性への投資が構造的に報われないマーケットになっていることだ。
考えてほしい。ユーザーはモデル選定時に「安全性スコア」で選ばない。MMLUやHumanEvalといった性能指標、価格、レイテンシで選ぶ。安全性に100億円投じたモデルと、投じなかったモデルが同じ土俵で性能比較される限り、合理的経営者ほど安全投資を削る。これは個別企業の倫理観の問題ではなく、ゲーム理論的な均衡解だ。
さらに悪いのは、RISEのような攻撃手法が公開されるたびに、AI企業は特定の抜け道だけを塞ぐ「モグラ叩き」に走る点だ。根本的な整合性(alignment)問題は未解決のまま、表面のフィルターだけ厚塗りされる。そして次の攻撃手法が出れば、また突破される。この無限ループに業界全体が入っている。
第三者評価機関を必須にすべきという研究者の主張も、理想としては正しいが、現時点で画像生成AIの安全性を体系的に監査できる独立機関は世界に存在しない。推定ではあるが、まともに機能する評価枠組みが整うまで最低2〜3年はかかる。その間、企業ユーザーは「保険なしで運転する」状態が続く。これを楽観視する経営者は、経営者を名乗る資格がない。
経営者として次に取るべき動き
第一に、自社で画像生成AIを顧客向けサービスに組み込んでいる場合、今週中に「不適切出力が発生した場合の初動フロー」を文書化せよ。検知・遮断・顧客通知・法務連携の4段階を、担当者名まで落とし込むこと。生成AIは完璧になることを前提に設計してはならない。「漏れる」前提の運用設計が必要だ。
第二に、ベンダー選定基準に「第三者評価の有無」を明示的に加えよ。googleやOpenAIの自己申告セーフティレポートだけで判断するのは、監査なしの財務諸表で投資判断するのと同じである。契約書にレッドチーミング実施証跡の開示義務を盛り込むべきだ。
第三に、画像生成AIの業務適用範囲を縮小する選択肢を真剣に検討せよ。社内向けコンテンツ制作のように閉じた環境では使う、顧客が自由入力できるUIには載せない。この線引きを引けるかどうかが、来年の炎上リストに載るかの分水嶺になる。