AI 워터마크는 사소하게 제거할 수 있습니다 - 탐지 경쟁은 애초에 이길 수 없는 싸움でした

기술 분석에 따르면 텍스트 기반 AI 워터마크는 사소한 노력으로 제거되거나 위조될 수 있으며, 이는 동기 부여된 공격자들에게도 안정적일 것이라 가정하는 AI 규제의 워터마킹 조항을 약화시킨다고 확인되었습니다.

간단히 말해: AI가 생성한 텍스트에 통계적 워터마크를 삽입하더라도 한 번의 재표현(paraphrase)으로 무력화할 수 있습니다. 반대로, 워터마크를 인간의 글에 주입하여 AI 생성 텍스트로 오판할 수도 있습니다. 이 메커니즘은 양쪽 모두에서 결함이 있습니다.

사실

seangoedecke.com에 게시된 분석(해커뉴스를 통해 알려짐)은 텍스트 워터마크가 근본적으로 취약한 이유를 설명합니다. 의미 보존 변환(재표현, 번역, 가벼운 편집)은 단어 선택이나 토큰 패턴에 내장된 통계적 신호를 제거합니다. 공격 비용은 O(1)으로, 전문 기술이 필요 없습니다.

우리의 해석

이 문제는 기술적 세부사항을 넘어 워터마킹이 AI 콘텐츠 속성 부여를 위한 실용적 도구로Positioned 되었기 때문에 중요합니다. EU AI Act는 합성 콘텐츠에 대한 워터마킹 규정을 포함하고 있습니다. 여러 AI 연구소는 투명성 메커니즘으로 워터마킹을 홍보했습니다. 만약 이 메커니즘이 동기 부여된 공격자(adversaries)에게 무력화되고, 제거 비용이 사소하다면, 그 위에 구축된 정책도 같은 결함을 안게 됩니다. 대안 접근법(생성 시 암호화 서명, 모델 출력 체인에 내장된 출처 메타데이터)은 더 견고하지만, 아직 연구소들이 우선순위를 두지 않고 있습니다.

[기술적 배경] 의미 보존 변환을 견디는 견고한 워터마크는 출력 품질을 눈에 띄게 저하시키거나, 워터마크를 제거하려는 동일한 공격자가 탐지할 수 있는 은닉 구조를 삽입해야 합니다. 둘 다 워터마킹의 본래 목적을 무력화합니다.

주목할 점

EU AI 사무소가 워터마킹에 대한 기술 가이던스를 이 증거가 축적됨에 따라 업데이트할지, 아니면 실효성이 없음에도 불구하고 규정이 그대로 유지될지 주목해야 합니다.