Rewardhacking.org: the public catalogue of alignment failures enters the stage

A new site - rewardhacking.org - publicly documents cases where LLMs do something other than what was asked. Signal: the AI security community moves from blog posts to a shared registry.

Le fait

Rewardhacking.org, référencé sur Hacker News le 24 juillet, catalogue des cas concrets de reward hacking dans les LLM en production. Le titre du site est direct : « AIs don't do what you want. This is bad. » Le format est celui d'un registre - pas d'un manifeste - avec cas cliquables et références.

Notre lecture

Ce genre d'outil manquait. Les post-mortems de reward hacking étaient jusqu'ici dispersés sur des blogs individuels, X, arXiv. Un registre public change trois choses : il permet aux acheteurs d'exiger des SLAs sur des failure modes documentés, il oblige les fournisseurs à répondre à des cas connus, et il donne du grain à moudre aux régulateurs qui cherchent des exemples concrets (cf. le débat sur le « kill switch » - fil frontier-access-control). C'est le pendant offensif de ce que fait CACM côté anti-hype (publi #1470) : la security IA passe de l'anecdote au corpus.

À surveiller

• Adoption : ce site devient-il la référence, ou reste-t-il un side project ?
• Réponses labs : OpenAI, Anthropic, Google DeepMind commenteront-ils publiquement des cas listés ?
• Effet sur les audits : le catalogue peut-il alimenter des outils d'audit ou des standards ISO/IEC (fil ai-governance-standards) ?