« Бедные и самонадеянные» : разработчики плохо судят утверждения LLM

Новая статья на arXiv: программисты не только плохо оценивают утверждения, сгенерированные LLM — они излишне уверены в своих суждениях. Этот дуэт срывает ревью кода с использованием ИИ.

Факт

Статья « Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions » (arXiv:2607.08885, 13 июля 2026 г.) эмпирически документирует тревожную закономерность: когда разработчиков просят оценить утверждения, сгенерированные LLM для кода, они часто ошибаются — и при этом уверены в своей правоте. Понимание и ревью кода, тем не менее, остаются центральными задачами профессии, особенно с появлением генеративных инструментов.

Наше мнение

Этот результат добавляется к растущему корпусу данных: LLM облекают свои выводы в такую изысканную формулировку, что это обходит стороной сомнения. Плохо сформированное утверждение, но написанное на беглом английском, проходит человеческую проверку. Это не вина разработчиков — это хорошо известное смещение (fluency = truth), которое LLM только усиливают. Следствие в русле «усталости от хайпа»: мы, вероятно, переоценили ценность «человека в цикле», когда этот человек судит на глазок тщательно отполированный вывод.

На что обратить внимание

Стоит следить за двумя реакциями на продукт: (a) IDE, которые отображают видимую неопределённость в отношении утверждений от ИИ (не только «принято / отклонено»); (b) команды, которые переходят к автоматическому ревью (выполняемые тесты, проверка свойств) вместо визуального.