Marcas d'água de IA são trivialmente removíveis - a corrida armamentista de detecção sempre foi impossível de vencer

Uma análise técnica confirma que marcas d'água de IA baseadas em texto podem ser removidas ou falsificadas com esforço trivial, minando as provisões de marca d'água na regulação de IA que pressupõem que o mecanismo é confiável contra adversários motivados.

Em termos simples: As marcas d'água estatísticas incorporadas em textos gerados por IA podem ser removidas com apenas uma passagem de paráfrase. Por outro lado, marcas d'água podem ser injetadas em textos escritos por humanos para falsamente identificá-los como gerados por IA. O mecanismo está quebrado dos dois lados.

O fato

Análise publicada em seangoedecke.com (divulgada no Hacker News) explica por que as marcas d'água em textos são fundamentalmente frágeis: qualquer transformação que preserve o significado — paráfrase, tradução, edição leve — remove o sinal estatístico incorporado na escolha de palavras ou padrões de tokens. O ataque tem custo O(1). Nenhuma capacidade especializada é necessária.

Nossa análise

Isso importa além do detalhe técnico porque a marcação d'água foi apresentada como uma ferramenta prática para atribuição de conteúdo de IA. O AI Act da UE inclui provisões de marcação d'água para conteúdo sintético. Vários laboratórios de IA promoveram a marcação d'água como um mecanismo de transparência. Se o mecanismo falha contra adversários motivados — e o custo de remoção é trivial — a camada de política construída sobre ele herda a falha. As abordagens alternativas (assinatura criptográfica no momento da geração, metadados de proveniência incorporados na cadeia de saída do modelo) são mais robustas, mas exigem comprometimento de infraestrutura dos laboratórios, que não priorizaram isso.

[Por baixo do capô] Uma marca d'água robusta que sobreviva a transformações que preservam o significado exigiria ou degradar visivelmente a qualidade da saída ou incorporar uma estrutura esteganográfica detectável pelo mesmo adversário que tenta removê-la. Ambas as opções derrotam o propósito.

Acompanhe

Se o Escritório de IA da UE atualizar suas orientações técnicas sobre marcação d'água à medida que essa base de evidências se acumula — ou se a provisão permanecer nos registros apesar de ser efetivamente inaplicável.