八つの脱獄、業界全体、ほとんど反応なし

研究者が、ChatGPT、Claude、Gemini、Llama、Grok、Qwenなどのモデルのセーフガードを回避する8つの手法を文書化した。最も懸念すべきは、脆弱性そのものではなく、その公開に続く沈黙だった。

簡単に言えば

セキュリティ研究者が、主要な大規模言語モデルの保護機能を回避する8つの方法を発見した。これは特定のモデルではなく、ほぼすべてのモデルに共通する手法だ。これらの技術は、禁止語句ではなく文脈の操作に基づいており、モデルが拒否すべきとされる内容の抽出を可能にした。IEEE Spectrumに発表されたこの研究は、技術的な問題というよりもプロセスの問題を浮き彫りにしている。

発見された内容

Gazzetta研究所のAI研究者であり、独立したサイバーセキュリティ研究者であるDavid Kuszmar氏は、Matthew Gore-Kormanik氏と共に8つの異なる手法を文書化した。そのうち2つの例を紹介する：

• Time Bandit：モデルの時間的文脈を操作する（4つのプロンプト、中程度の複雑さ）
• Inception：シナリオ内にさらにシナリオを埋め込む（3つのプロンプト、高い複雑さ）

この他にも1899、Severance、Kyber、Semantic Slide、Eidolonといった手法が存在する。注目すべきはその汎用性だ。記事によると、これらの技術は「商用AI業界の大部分」に影響を与えるという。具体的には、ChatGPT/GPT-4o、Claude、Gemini、Llama、Copilot、DeepSeek、Grok、MistralのLe Chat/Vibe、Qwenなどが対象となる。得られたコンテンツには、メタンフェタミンの製造方法、ウラン濃縮、放火装置、毒物、悪意のあるコード、生物兵器戦略などが含まれる。

技術的詳細

問題の規模を正確に測るために、過剰な警告は避けよう。これらの攻撃はモデルを「破壊」するものではない。むしろ、アラインメント（整合性）がハードコーディングされたルールではなく、文脈に依存した統計的挙動であるという事実を悪用している。十分に文脈を移動させれば（例えば別の時代や入れ子になったフィクション）、受け入れられる回答の分布もそれに応じて変化する。拒否はif文ではなく、傾斜（連続的な変化）なのだ。

そのため、同じ攻撃パターンが異なるアーキテクチャ、データセット、アラインメントチームに対して有効なのだ。脆弱性は手法に構造的なものであり、特定のベンダー固有のものではない。また、パターンフィルタリングによる修正が失敗する理由もここにある。問題は「パターン」ではなく、文脈の枠組みにあるからだ。

実際の影響について慎重な見方を示すと、「指示を得る」ことと「能力を獲得する」ことは同義ではない。生物兵器の要因が常に文献へのアクセスにあったわけではない。むしろ深刻なリスクは、低い障壁の用途にある。悪意のあるコードや大規模なソーシャルエンジニアリングなど、攻撃者にとってモデルが本当に時間を節約できる分野だ。

ではどうすればいいのか

真の問題は別にある。Kuszmar氏によると、「開示に対する反応はほとんどなかった」という。カーネギーメロン大学のCERT/SEIシステムを通じた開示でさえ、標準的な受領確認しか得られなかった。

企業や国家からの信頼を求める業界であれば、調整された開示プロセスが機能していなければならない。従来のソフトウェア業界はこれを実現するのに20年かかった。CVE、バグバウンティ、修正期間、公開といった仕組みだ。AI業界はまだ「ご連絡ありがとうございます」の段階に過ぎない。

モデルを本番環境に導入する場合は、ベンダーのアラインメントをセキュリティ管理として頼るべきではない。それはリスク低減の層に過ぎず、境界線ではない。真の境界線はその周囲に構築されるものだ。具体的には、出力の検証、ツールへの最小限の権限、そして取り返しのつかない行動を行う際には人間が介在する仕組みが必要だ。