여덟 번의 탈옥, 전 산업계, 거의 아무런 대응도 없음

연구원이 ChatGPT, Claude, Gemini, Llama, Grok, Qwen 등 여러 AI 모델의 방어벽을 무너뜨리는 여덟 가지 기법을 문서화했다. 가장 우려스러운 점은 이 취약점 공개 이후 이어진 침묵이다.

간단히 말해

보안 연구원이 거대 언어 모델의 보호 장치를 여덟 가지 방법으로 우회하는 방법을 발견했습니다—단일 모델이 아니라 거의 모든 모델에서 말이죠. 이 기술들은 금지된 단어를 사용하는 대신 맥락 조작에 기반하며, 모델이 거부하도록 설계된 콘텐츠를 추출할 수 있게 합니다. IEEE Spectrum에 발표된 이 연구는 기술적 문제가 아니라 프로세스상의 문제를 제기합니다.

발견된 내용

가제타 연구소(Gazzetta)의 AI 연구원이자 독립 사이버보안 연구원인 David Kuszmar은 Matthew Gore-Kormanik과 함께 여덟 가지의 뚜렷한 방법을 문서화했습니다. 두 가지 예를 들면:

• Time Bandit: 모델의 시간적 맥락을 조작(4개의 프롬프트, 중간 복잡도)
• Inception: 시나리오 안에 시나리오를 중첩(3개의 프롬프트, 높은 복잡도)

이 외에도 1899, Severance, Kyber, Semantic Slide, Eidolon 등이 있습니다. 핵심은 범위입니다. 기사에 따르면 이 기술들은 «the bulk of the commercial AI industry»—ChatGPT/GPT-4o, Claude, Gemini, Llama, Copilot, DeepSeek, Grok, Mistral의 Le Chat/Vibe, Qwen—에 영향을 미친다고 합니다. 추출된 콘텐츠에는 메스암페타민 제조법, 우라늄 농축 방법, 화염병 제작법, 독극물, 악성 코드, 생물무기 전략 등이 포함됩니다.

내부 메커니즘

문제의 규모를 정확히 측정해 보겠습니다. 이 공격들은 모델을 «깨뜨리는» 것이 아닙니다. 정렬(alignment)이 하드코딩된 규칙이 아니라 맥락에 따른 통계적 행동이라는 점을 악용하는 것입니다. 프레임을 충분히 이동시키면—다른 시대, 가상 세계 속의 가상 세계—수용 가능한 응답의 분포가 함께 이동합니다. 거부(Refusal)는 if문이 아니라 경사(斜面)와 같습니다.

이 때문에 동일한 공격 패턴이 서로 다른 아키텍처, 데이터셋, 정렬 팀을 가로질러 통합니다. 취약성은 방법론의 구조적 문제이며 특정 공급업체만의 문제는 아닙니다. 또한 패턴 필터링으로 해결할 수 없는 이유이기도 합니다—문제는 패턴이 아니라 프레임이기 때문입니다.

실제 영향에 대한 한 가지 주의사항: «지침을 얻는 것»이 «능력을 획득하는 것»과 같지는 않습니다. 생물무기의 위험 요인은 literature(문헌)에 접근하는 것이 아닙니다. 진짜 위험은 장벽이 낮은 사용—악성 코드, 대규모 사회공학—에서 발생하며, 이 경우 모델이 공격자에게 실질적인 시간 절약을 제공합니다.

그래서?

진짜 문제는 따로 있습니다. Kuszmar은 «the response to the disclosure was almost nil»이라고 밝혔습니다. 카네기 멜론 대학교 CERT/SEI 시스템을 통한 공개에도 표준적인 수신 확인만 돌아왔다고 합니다.

기업과 국가로부터 신뢰를 요구하는 산업은 조정된 공개 프로세스를 갖추어야 합니다. 전통적인 소프트웨어는 이 프로세스를 구축하는 데 20년이 걸렸습니다—CVE, 버그 바운티, 수정 기간, 공개. AI는 아직 «메시지 감사합니다» 단계에 머물러 있습니다.

프로덕션 환경에 모델을 배포한다면 공급업체의 정렬을 보안 경계로 삼지 마세요.那是一种风险降低层，而不是边界。边界是你在周围构建的东西：输出验证、工具的最小权限，以及在不可逆转的行动中必须有人类介入。