« Pobres y sobreconfiados »: los desarrolladores son malos jueces de las afirmaciones de los LLM

Nuevo artículo en arXiv: los programadores no solo son malos jueces de las aserciones generadas por LLM, sino que son sobreconfiados en su juicio. La combinación que desvía la revisión de código con IA.

El hecho

El artículo « Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions » (arXiv:2607.08885, 13 de julio de 2026) documenta empíricamente un patrón molesto: cuando se pide a desarrolladores que evalúen assertions generadas por LLM en código, suelen equivocarse —y creen estar en lo cierto—. La comprensión y revisión de código son, sin embargo, tareas centrales del oficio, aún más desde la llegada de herramientas generativas.

Nuestra lectura

Este resultado se suma a un corpus en crecimiento: los LLMs envuelven su salida en una elocuencia que anula la duda. Una assertion mal formada, pero redactada en inglés fluido, pasa la revisión humana. No es un defecto de los desarrolladores —es un sesgo bien conocido (fluency = truth) que el medio LLM amplifica—. Corolario en la corriente de «hype-fatiga»: probablemente hemos sobrevalorado el «human in the loop» cuando este humano juzga a simple vista una salida pulida.

A vigilar

Dos reacciones en productos a observar: (a) IDE que muestren una incertidumbre visible en las assertions de IA (más allá de «aceptado / rechazado»); (b) equipos que migren hacia una revisión automática (pruebas ejecutadas, propiedades verificadas) en lugar de visual.