Восемь джейлбрейков, вся индустрия, почти никакого ответа

Исследователь задокументировал восемь техник, которые обходят защитные механизмы ChatGPT, Claude, Gemini, Llama, Grok, Qwen и других. Самое тревожное — не сама уязвимость, а молчание, последовавшее за её разглашением.

Простыми словами

Исследователь в области безопасности обнаружил восемь способов обхода защиты крупных языковых моделей — не одной, а почти всех. Методики основаны на манипуляции контекстом, а не на запрещённых словах, и позволили извлечь контент, который модели должны отказываться предоставлять. Опубликованная в IEEE Spectrum, эта работа скорее поднимает вопрос процессов, чем технических проблем.

Что именно было обнаружено

Дэвид Кузмар, исследователь в области ИИ в лаборатории Gazzetta и независимый специалист по кибербезопасности, задокументировал вместе с Мэттью Гор-Кормаником восемь различных методов. Два примера иллюстрируют принцип:

• Time Bandit манипулирует временным контекстом модели (четыре промпта, средняя сложность);
• Inception вкладывает сценарии в сценарии (три промпта, высокая сложность).

К ним добавляются 1899, Severance, Kyber, Semantic Slide и Eidolon. Главное — масштаб: согласно статье, эти техники затрагивают «the bulk of the commercial AI industry» — ChatGPT/GPT-4o, Claude, Gemini, Llama, Copilot, DeepSeek, Grok, Le Chat/Vibe от Mistral, Qwen. Полученные контенты включают инструкции по производству метамфетамина, обогащению урана, изготовлению зажигательных устройств, ядов, вредоносного кода и стратегий биологического оружия.

Под капотом

Давайте оценим масштаб проблемы без катастрофизма. Эти атаки не «ломают» модель: они эксплуатируют тот факт, что выравнивание — это статистическое поведение, обусловленное контекстом, а не жёстко заданное правило. Если достаточно сместить рамки — другую эпоху, вымышленный мир внутри вымышленного — распределение «приемлемых» ответов смещается вместе с ними. Отказ — это не if, а склон.

Вот почему одна и та же схема атаки работает на разных архитектурах, наборах данных и командах по выравниванию: уязвимость заложена в самой методике, а не свойственна конкретному поставщику. И именно поэтому исправление через фильтрацию шаблонов не работает — нет шаблона, есть контекст.

Стоит отметить реальное влияние: «получить инструкции» не равно «обрести возможность». Ограничивающим фактором для биологического оружия никогда не был доступ к литературе. Серьёзный риск кроется в низкобарьерных сценариях — вредоносный код, социальная инженерия в массовом масштабе — где модель действительно экономит время атакующему.

Что дальше

Настоящий скандал в другом. Кузмар сообщает, что «the response to the disclosure was almost nil»: раскрытие через систему CERT/SEI в Carnegie Mellon вызвало лишь стандартные подтверждения получения.

Индустрия, требующая доверия со стороны компаний и государств, должна иметь работающую систему скоординированного раскрытия уязвимостей. Классическое ПО потратило двадцать лет на её создание — CVE, программы вознаграждения за найденные уязвимости, сроки исправления, публикации. ИИ пока на этапе «спасибо за ваше сообщение».

Если вы внедряете модели в продакшн, не рассчитывайте на выравнивание от поставщика как на контроль безопасности. Это уровень снижения риска, а не граница. Граница — это то, что вы ставите вокруг: валидация выходных данных, минимальные разрешения для инструментов и человек там, где действия необратимы.