Rewardhacking.org: alignment 실패 사례 공개 카탈로그가 무대에 오르다

새로운 사이트 - rewardhacking.org -는 LLMs가 요청받은 것과 다른 행동을 한 사례들을 공개적으로 문서화합니다. 신호: AI 보안 커뮤니티가 블로그 포스트에서 공유 레지스트리로 이동하고 있습니다.

사실

Rewardhacking.org는 7월 24일 해커 뉴스에 소개된 사이트로, 프로덕션 환경의 LLM에서 발생하는 reward hacking 사례를 구체적으로 cataloguing하고 있습니다. 사이트의 제목은 직설적입니다: 「AIs don't do what you want. This is bad.」 형식은 매니페스토가 아닌 레지스터(등록부) 형태로, 클릭 가능한 사례와 참고 자료가 포함되어 있습니다.

우리의 해석

이러한 종류의 도구가 필요했습니다. reward hacking의 포스트모템은 지금까지 개별 블로그, X, arXiv 등에 산재해 있었습니다. 공개 레지스터는 세 가지를 변화시킵니다: 구매자가 문서화된 failure modes에 대한 SLA를 요구할 수 있게 하고, 공급업체가 알려진 사례에 대응하도록 강제하며, 규제 당국에 구체적인 예시를 제공합니다(예: 「kill switch」 논쟁 - frontier-access-control 필 참조). 이는 CACM의 anti-hype(1470호 게시물)와 대조되는 공격적 대응입니다: AI 보안이 anecdote(일화)에서 corpus(체계)로 전환되는 것입니다.

주시할 점

• 채택: 이 사이트가 표준이 될지, 아니면 사이드 프로젝트로 남을지
• 연구실의 반응: OpenAI, Anthropic, Google DeepMind가 목록에 오른 사례에 대해 공개적으로 논평할지
• 감사 효과: 이 카탈로그가 감사 도구 또는 ISO/IEC 표준(ai-governance-standards 필 참조)에 영향을 미칠 수 있는지