« Бедные и самонадеянные »: разработчики плохо судят утверждения LLM

Новая статья на arXiv: программисты не только плохо оценивают утверждения, сгенерированные LLM — они излишне уверены в своих суждениях. Этот дуэт подрывает ревью кода с использованием ИИ.

Факт

Статья « Programmers Are Poor and Overconfident Judges of LLM-Generated Assertions » (arXiv:2607.08885, 13 июля 2026 г.) эмпирически документирует тревожную закономерность: когда разработчиков просят оценить утверждения, сгенерированные LLM в коде, они часто ошибаются — и при этом уверены в своей правоте. Понимание и ревью кода остаются центральными задачами профессии, особенно с появлением генеративных инструментов.

Наше понимание

Этот результат добавляется к растущему корпусу данных: LLMs облекают свои выводы в такую убедительную форму, что это обходит сомнения. Плохо сформированное утверждение, но написанное на беглом английском, проходит человеческую проверку. Это не вина разработчиков — это хорошо известное смещение (fluency = truth), которое LLM-среда усиливает. Следствие в русле «усталости от хайпа»: вероятно, мы переоценили ценность «человека в цикле», когда этот человек оценивает на глаз отполированный вывод.

На что обратить внимание

Стоит следить за двумя реакциями на продукт: (a) IDE, которые отображают видимую неопределённость в отношении утверждений от ИИ (не только «принято / отклонено»); (b) команды, которые переходят на автоматическую проверку (выполняемые тесты, проверка свойств) вместо визуальной.