「贫穷且自信」: 开发者是LLM断言的不良评判者

新的arXiv论文：程序员不仅是LLM生成的断言的坏评判者，他们对自己的判断还过度自信。这让AI代码审查出了问题。

事实

论文《Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions》（arXiv:2607.08885，2026年7月13日）记录了一个令人不安的模式：当要求开发人员评判LLM生成的代码断言时，他们经常犯错——并且认为自己是正确的。理解和代码审查是该职业的核心任务，自从生成性工具出现后更是如此。

我们的解读

这一结果增加了一个不断扩大的文献集：LLMs用一种雄辩的方式包装其输出，从而短路了怀疑。一个表述不良但用流利的英语撰写的断言通过了人类审查。这不是开发人员的缺陷——这是一个已知的偏见（流畅性=真理），LLM媒介放大了这种偏见。在“炒作疲劳”线程中的一个推论是：当人类以裸眼评判一个精心制作的输出时，我们可能高估了“人在回路中的价值”。

需要关注

需要关注两种产品反应：(a) 显示IA断言的可见不确定性的IDE（超越“接受/拒绝”）；(b) 团队转向自动审查（执行测试，验证属性）而不是视觉审查。