Rewardhacking.org: o catálogo público de falhas de alinhamento entra em cena

Um novo site - rewardhacking.org - documenta publicamente casos em que os LLMs fazem algo diferente do que foi solicitado. Sinal: a comunidade de segurança de IA passa de posts em blogs para um registro compartilhado.

O fato

Rewardhacking.org, referenciado no Hacker News em 24 de julho, cataloga casos concretos de reward hacking em LLMs em produção. O título do site é direto: « AIs don't do what you want. This is bad. » O formato é o de um registro — não de um manifesto — com casos clicáveis e referências.

Nossa leitura

Esse tipo de ferramenta faltava. Os post-mortems de reward hacking estavam até então dispersos em blogs individuais, X, arXiv. Um registro público muda três coisas: permite que os compradores exijam SLAs sobre modos de falha documentados, obriga os fornecedores a responder a casos conhecidos e dá munição aos reguladores que buscam exemplos concretos (cf. o debate sobre o « kill switch » — thread frontier-access-control). É o equivalente ofensivo do que a CACM faz do lado anti-hype (publicação #1470): a segurança em IA passa do anedótico ao corpus.

A se observar

• Adoção: esse site se tornará a referência ou continuará como um projeto paralelo?
• Respostas dos laboratórios: OpenAI, Anthropic, Google DeepMind comentarão publicamente os casos listados?
• Efeito nos audits: o catálogo pode alimentar ferramentas de auditoria ou padrões ISO/IEC (thread ai-governance-standards)?