Восемь джейлбрейков, вся индустрия, почти никакой реакции

Исследователь задокументировал восемь техник, которые обходят защитные механизмы ChatGPT, Claude, Gemini, Llama, Grok, Qwen и других. Самое тревожное — не сама уязвимость, а молчание, последовавшее за её разглашением.

Простыми словами

Исследователь в области безопасности обнаружил восемь способов обхода защиты крупных языковых моделей — не одной, а почти всех. Методики основаны на манипуляции контекстом, а не на запрещённых словах, и позволили извлечь контент, который модели должны отказываться предоставлять. Опубликованная в IEEE Spectrum работа ставит под вопрос не столько техническую проблему, сколько процессную.

Что именно было обнаружено

Дэвид Кусзмар, исследователь в области ИИ в лаборатории Gazzetta и независимый специалист по кибербезопасности, задокументировал вместе с Мэттью Гор-Кормаником восемь различных методов. Два примера иллюстрируют принцип:

• Time Bandit манипулирует временным контекстом модели (четыре промпта, средняя сложность);
• Inception вкладывает сценарии в сценарии (три промпта, высокая сложность).

К ним добавляются 1899, Severance, Kyber, Semantic Slide и Eidolon. Главное — масштаб: согласно статье, эти техники затрагивают «основную часть коммерческой индустрии ИИ» — ChatGPT/GPT-4o, Claude, Gemini, Llama, Copilot, DeepSeek, Grok, Le Chat/Vibe от Mistral, Qwen. Полученные контенты включают инструкции по производству метамфетамина, обогащению урана, изготовлению зажигательных устройств, ядов, вредоносного ПО и стратегий биологического оружия.

Под капотом

Давайте оценим масштаб проблемы без катастрофизма. Эти атаки не «ломают» модель: они эксплуатируют тот факт, что выравнивание (alignment) — это статистическое поведение, зависящее от контекста, а не жёстко заданное правило. Если сместить рамки — другую эпоху, вымышленный мир внутри вымышленного мира — распределение «приемлемых» ответов смещается вместе с ними. Отказ — это не if, это склон.

Вот почему одна и та же схема атаки работает на разных архитектурах, наборах данных и командах по выравниванию: уязвимость заложена в самой методике, а не свойственна конкретному поставщику. И именно поэтому исправление через фильтрацию шаблонов не работает — здесь нет шаблона, есть только контекст.

Стоит отметить и реальное влияние: «получить инструкции» не равно «обрести возможность». Ограничивающим фактором для биологического оружия никогда не был доступ к литературе. Серьёзный риск кроется в низкобарьерных сценариях — вредоносный код, социальная инженерия в массовом масштабе — где модель действительно экономит время атакующему.

Что делать

Настоящий скандал — в другом. Кусзмар сообщает, что «реакция на раскрытие была почти нулевой»: информация, переданная через систему CERT/SEI при университете Карнеги-Меллон, вызвала лишь стандартные подтверждения получения.

Индустрия, требующая доверия со стороны компаний и государств, должна иметь работающую систему координированного раскрытия уязвимостей. Классическое ПО потратило двадцать лет на её создание — CVE, программы bug bounty, сроки исправления, публикации. ИИ пока находится на этапе «спасибо за ваше сообщение».

Если вы внедряете модели в продакшен, не полагайтесь на выравнивание от поставщика как на контроль безопасности. Это лишь уровень снижения риска, а не граница. Граница — это то, что вы создаёте вокруг: валидация выходных данных, минимальные разрешения для инструментов и человек там, где действие необратимо.