« Poor and overconfident »: os devs são maus juízes das afirmações dos LLMs

Novo artigo arXiv: os programadores não são apenas maus juízes das asserções geradas por LLM — eles são excessivamente confiantes em seus julgamentos. A combinação que prejudica a revisão de código por IA.

O fato

O artigo « Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions » (arXiv:2607.08885, 13 de julho de 2026) documenta empiricamente um padrão preocupante: quando pedimos a desenvolvedores que avaliem asserções geradas por LLM em código, eles frequentemente erram — e acreditam estar corretos. A compreensão e revisão de código, no entanto, são tarefas centrais da profissão, ainda mais desde a chegada das ferramentas generativas.

Nossa leitura

Esse resultado se soma a um conjunto crescente de evidências: os LLMs embelezam suas saídas com uma eloquência que contorna a dúvida. Uma asserção mal formulada, mas escrita em inglês fluente, passa pela revisão humana. Não é um defeito dos desenvolvedores — é um viés conhecido (fluency = truth) que o meio LLM amplifica. Corolário no debate sobre "hype-fatigue": provavelmente superestimamos o valor do "human in the loop" quando esse humano julga a olho nu uma saída polida.

A se observar

Duas reações de produto a serem monitoradas: (a) IDEs que exibem uma incerteza visível nas asserções geradas por IA (além de "aceito / rejeitado"); (b) equipes que migram para uma revisão automática (testes executados, propriedades verificadas) em vez de visual.