「Poor and overconfident」: LLMのアサーションを判断するのは開発者にとって難しい

新しいarXiv論文：プログラマーはLLMが生成したアサーションを判断するのが下手なだけでなく、自分の判断に過剰な自信を持っている。これがAIによるコードレビューを破綻させる要因となる。

事実

論文「Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions」（arXiv:2607.08885、2026年7月13日）は、開発者にLLMが生成したコードのアサーションを判断させた場合、しばしば間違えるにもかかわらず自信過剰になるという厄介なパターンを実証的に示している。コードの理解とレビューは、生成系ツールの登場以降ますます重要な業務となっている。

考察

この結果は、LLMが出力に流暢な英語で装飾を施すことで疑念を回避するという、拡大する研究コーパスに加わるものだ。不正確なアサーションであっても流暢な英語で書かれていれば、人間によるレビューを通過してしまう。これは開発者の欠点ではなく、流暢性が真実とみなされるというよく知られたバイアス（fluency = truth）をLLMという媒体が増幅させた結果だ。関連して「過剰な期待の疲弊」という流れでは、洗練された出力を裸眼で判断する人間が介在することの価値を過大評価していた可能性がある。

要注目

二つの製品反応に注目すべきだ：（a）IDEがAIによるアサーションに対し「承認/却下」を超えた視覚的な不確実性を表示すること、（b）チームが目視レビューではなく自動レビュー（実行されるテスト、検証されるプロパティ）に移行すること。