« Poor and overconfident » : les devs sont de mauvais juges des assertions LLM

Nouveau papier arXiv : les programmeurs sont non seulement mauvais juges des assertions générées par LLM - ils sont surconfiants dans leur jugement. Le combo qui déraille la revue de code IA.

Le fait

Le papier « Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions » (arXiv:2607.08885, 13 juillet 2026) documente empiriquement un pattern gênant : quand on demande à des développeurs de juger des assertions générées par LLM sur du code, ils se trompent souvent - et se croient corrects. La compréhension et la revue de code sont pourtant des tâches centrales du métier, encore plus depuis l'arrivée des outils génératifs.

Notre lecture

Ce résultat s'ajoute à un corpus qui grossit : les LLMs enrobent leur sortie d'une éloquence qui court-circuite le doute. Une assertion mal formée, mais rédigée en anglais fluide, passe la revue humaine. Ce n'est pas un défaut des devs - c'est un biais bien connu (fluency = truth) que le medium LLM amplifie. Corollaire dans le fil « hype-fatigue » : on a probablement surestimé la valeur du « human in the loop » quand ce human juge à vue nue une sortie soignée.

À surveiller

Deux réactions produit à guetter : (a) IDE qui affichent une incertitude visible sur les assertions IA (au-delà du « accepté / refusé ») ; (b) équipes qui basculent vers une revue automatique (tests exécutés, propriétés vérifiées) plutôt que visuelle.