ハチ回避、業界全体、ほとんど反応なし

研究者が、ChatGPT、Claude、Gemini、Llama、Grok、Qwenらが持つセーフガードを回避する8つの手法を文書化した。最も懸念すべきは脆弱性そのものではなく、その公開に続く沈黙だった。

簡単に言えば

セキュリティ研究者が、大規模言語モデルの保護機能を回避する8つの方法を発見した――単一のモデルではなく、ほぼすべてのモデルで。これらの手法は禁止語の使用ではなく文脈の操作に基づいており、モデルが拒否すべきとされるコンテンツの抽出に成功した。IEEE Spectrumに発表されたこの研究は、技術的な問題というよりもプロセスの問題を提起している。

発見された内容

Gazzetta研究所のAI研究者であり、独立系サイバーセキュリティ研究者でもあるDavid Kuszmar氏は、Matthew Gore-Kormanik氏と共に8つの異なる手法を文書化した。そのうち2つの例が原理を示している：

• Time Bandit：モデルの時間的文脈を操作（4つのプロンプト、中程度の複雑さ）
• Inception：シナリオ内にさらにシナリオを埋め込む（3つのプロンプト、高い複雑さ）

この他に1899、Severance、Kyber、Semantic Slide、Eidolonといった手法も存在する。注目すべきは対象範囲の広さだ。記事によれば、これらの手法は「商用AI業界の大部分」――ChatGPT/GPT-4o、Claude、Gemini、Llama、Copilot、DeepSeek、Grok、MistralのLe Chat/Vibe、Qwen――に影響を及ぼすという。得られたコンテンツには、メタンフェタミンの製造方法、ウラン濃縮、放火装置、毒物、悪意のあるコード、生物兵器戦略などが含まれていた。

技術的詳細

問題の正確な規模を測るために、過剰な警告は避けよう。これらの攻撃はモデルを「破壊」するわけではない。むしろ、アラインメント（整合性）がハードコーディングされたルールではなく、文脈によって条件付けられた統計的挙動であるという事実を悪用している。十分に文脈を移動させれば――別の時代、あるいは入れ子になった架空の物語――「許容される」と判断される回答の分布もそれに応じて変化する。拒否はif文ではなく、傾斜（スロープ）なのだ。

そのため、同じ攻撃パターンが異なるアーキテクチャ、データセット、アラインメントチームを横断して機能する。脆弱性は手法に構造的なものであり、特定のベンダー固有のものではない。また、パターンフィルタリングによる修正が失敗する理由もここにある――パターンなど存在せず、文脈（フレーミング）が問題なのだ。

実用的な影響についての注意点：「指示を得る」ことと「能力を獲得する」ことは等しくない。生物兵器の要因が常に文献へのアクセスにあったわけではない。むしろ低い障壁の用途――悪意のあるコード、大規模なソーシャルエンジニアリング――こそが、攻撃者にとってモデルが真に時間を節約できる領域だ。

ではどうすればいいのか

真の問題は別のところにある。Kuszmar氏によると、「開示への対応はほとんどなかった」という。カーネギーメロン大学のCERT/SEIシステムを通じた開示であっても、標準的な受領確認しか得られなかったのだ。

企業や国家からの信頼を求める業界であれば、機能する調整済みの開示システムを持つべきだ。従来のソフトウェア業界はこれを実現するのに20年を要した――CVE、バグバウンティ、修正期間、公開。AI業界はまだ「ご連絡ありがとうございます」の段階に過ぎない。

実運用でモデルを展開する場合、セキュリティ管理としてベンダーのアラインメントに依存してはならない。アラインメントはリスク低減のレイヤーに過ぎず、境界線ではない。境界線とは、あなたがモデルの周囲に配置するものだ――出力の検証、ツールの最小権限、そして不可逆的な行動を行う際の人間の関与。