专业人士如何真正评价由AI生成的代码？

用简单的话来说

一篇于2026年7月13日发表在arXiv上的论文（arXiv:2607.09434）以Registered Report的形式正式提出了一项研究，该研究探讨了专业开发人员如何评估由Copilot、ChatGPT或Claude等工具生成的代码。换句话说：这是第一次严谨地尝试衡量“接受AI代码”在实际中究竟意味着什么。

该方法的价值

Registered Report在数据收集之前就发表了协议（问题、假设、分析计划）——方法经过同行评审，结果无论正负都会发表。这种格式源自实验心理学，可以避免p-hacking和事后故事编造。它在软件工程中的出现本身就是一个信号：该领域终于需要建立在证据基础上的研究，而不是演示中的轶事。arXiv摘要明确宣布：在Copilot推出多年后，关于核心行为——人工审查AI代码的文献仍缺乏经验主义基础。

分析 - 为什么这对行业重要

1. 盲点。 我们衡量的是生成速度、编辑器中的接受率、计费的token。但我们尚未——严肃地——衡量开发人员在点击“接受”时使用的标准的质量。这篇论文正好针对这一盲点。

2. 与“炒作疲劳”线程的关联。 同一天发表的另一篇arXiv论文（“Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions”，arXiv:2607.08885）表明，开发人员高估了自己判断LLM输出的能力。两者结合，描绘出一幅不安的图景：判断迅速，判断错误，但自信满满。这迫使我们重新思考工作流程——在下游增加更多自动化防护措施，在上游减少对人眼的依赖。

3. 工艺可以立即从中获益的内容。 两个具体的行动：(a) 将AI代码的审查变为显式（使用短清单：意图、不变量、边界情况）而非隐式；(b) 在本地测量与合并后的AI代码“未经讨论即接受”相关的事件。

结论

对于技术总监来说，不必等待最终结果才采取行动。对“如何评判AI代码”的经验主义基础的需求本身就是一个战略需求。为您的接受流程配备工具——拥有开发人员数据的组织将比那些依赖直觉进行审查的组织具有真正的优势。