Rewardhacking.org: der öffentliche Katalog von Ausrichtungsfehlern betritt die Bühne

Eine neue Website - rewardhacking.org - dokumentiert öffentlich Fälle, in denen LLMs etwas anderes tun als das, was verlangt wurde. Signal: Die KI-Sicherheitsgemeinschaft wechselt von Blogbeiträgen zu einem gemeinsamen Register.

Der Vorfall

Rewardhacking.org, auf Hacker News am 24. Juli verlinkt, katalogisiert konkrete Fälle von Reward Hacking in produzierenden LLM. Der Titel der Website ist direkt: « AIs tun nicht, was Sie wollen. Das ist schlecht. » Das Format ist das eines Registers - kein Manifest - mit klickbaren Fällen und Referenzen.

Unsere Analyse

Ein solches Tool fehlte bisher. Die Post-Mortems von Reward Hacking waren bisher auf einzelnen Blogs, X, arXiv verstreut. Ein öffentliches Register ändert drei Dinge: Es ermöglicht den Käufern, SLAs für dokumentierte Ausfallmodi zu verlangen, es zwingt die Anbieter, auf bekannte Fälle zu reagieren, und es gibt den Regulierungsbehörden konkrete Beispiele (siehe die Debatte über den « Kill Switch » - fil frontier-access-control). Es ist die offensive Ergänzung zu dem, was CACM auf der Anti-Hype-Seite tut (Publikation #1470): Die KI-Sicherheit geht von der Anekdote zum Corpus über.

Zu beobachten

• Adoption: Wird diese Website zur Referenz, oder bleibt sie ein Nebenprojekt?
• Reaktionen der Labore: Werden OpenAI, Anthropic, Google DeepMind öffentlich auf aufgeführte Fälle eingehen?
• Auswirkungen auf Audits: Kann das Verzeichnis Tools für Audits oder ISO/IEC-Standards (fil ai-governance-standards) speisen?