Como os profissionais de software realmente julgam o código gerado por IA?

Um Registered Report no arXiv aborda a questão que evitávamos: quais critérios, quais vieses, os desenvolvedores mobilizam quando aceitam - ou recusam - o código de um LLM. Essa é a fundamentação empírica que faltava ao debate.

Em termos simples

Um artigo arXiv publicado em 13 de julho de 2026 (arXiv:2607.09434) formaliza, em Registered Report, um estudo sobre como desenvolvedores profissionais avaliam código gerado por ferramentas como Copilot, ChatGPT ou Claude. Em outras palavras: a primeira tentativa rigorosa de medir o que "aceitar código de IA" realmente significa na prática.

O que a abordagem traz

Um Registered Report publica o protocolo (pergunta, hipóteses, plano de análise) antes da coleta de dados — metodologia revisada por pares antecipadamente, resultados publicados independentemente do resultado. Esse formato, importado da psicologia experimental, elimina o p-hacking e a narrativa post-hoc. Sua presença em Engenharia de Software já é um sinal: a área finalmente exige provas construídas, não anedotas de demonstrações. O resumo no arXiv deixa claro: anos após o Copilot, a literatura carece de fundamentos empíricos sobre o gesto central — a revisão humana de código gerado por IA.

Análise — por que isso importa para a profissão

1. A lacuna. Medimos velocidade de geração, aceitação no editor, tokens faturados. Não medimos — seriamente — a qualidade dos critérios que devs usam ao clicar em "aceitar". Este artigo mira justamente esse ponto cego.

2. Conexão com o debate "hype-fatigue". Outro artigo arXiv publicado no mesmo dia ("Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions", arXiv:2607.08885) sugere que devs superestimam sua capacidade de julgar saídas de LLMs. Juntos, os dois desenham um cenário desconfortável: julgamos rápido, julgamos mal, temos certeza de nós mesmos. Isso obriga a repensar workflows — mais barreiras automatizadas a jusante, menos fé no olho humano a montante.

3. O que o craft pode tirar disso, agora. Duas ações concretas: (a) tornar a revisão de código de IA explícita (checklist curta: intenção, invariantes, casos limites) em vez de implícita; (b) medir, internamente, incidentes pós-merge ligados a código de IA "aceito sem discussão".

E daí?

Para um CTO: não espere os resultados finais para agir. A demanda por fundamentos empíricos sobre "como julgamos código de IA" já é uma demanda estratégica. Instrumentem seus próprios fluxos de aceitação — organizações que tiverem dados sobre seus devs terão vantagem real sobre aquelas que guiam a revisão pela intuição.