"LLMs는 뛰어오를 수 없다": 대규모 언어 모델이 근본적인 추론 한계를 지닌다는 입장 논문

AI 스케일링 가설의 핵심 가정, 즉 추론 능력이 무한히 확장됨에 따라 향상된다는 가설을 OpenReview에 게재된 position paper가 도전합니다. 이 주장 자체가 새로운 것은 아닙니다만, 프레이밍만큼은 유독 날카롭습니다.

사실 ‘LLMs Can't Jump’라는 제목의.position paper가 OpenReview에 제출되었습니다(2026년 8월 5일, HN 점수 30점, 11개의 댓글). 제목과 HN 토론을 바탕으로(이 시점에서 paper의 전체 내용은 공개되지 않았음) 해당 논문은 LLMs가 특정 추론 작업에서 근본적인 한계를 지닌다는 주장을 펼치는 것으로 보입니다: 간단한 예제에서는 능력을 보이는 것처럼 보이나 복잡한 변형에서는 능력이 무너지며, 단순히 규모 확장이 문제를 해결하지 못한다는 것입니다.

저희 분석 해당 논문의 주장이 검토를 통해 확인된다면, 이는 ‘reversal curse’, ARC-AGI 실패, François Chollet의 일반화 분석 등 비판적 연구들과 맥락을 같이합니다. 주장의 핵심은 성능 자체가 아니라 추론의 본질에 대한 것입니다: 패턴 인식 대 구성적 추론. 실질적 결과는 표준화된 벤치마크(GSM8K, MATH)가 실제 능력을 과대평가한다는 것입니다. 이는 해당 벤치마크들이 훈련 데이터 분포에 속하기 때문입니다. 완전한 동료 검토가 이루어질 때까지 신중히 다뤄야 합니다: 제목과 HN 점수만으로는 검증된 논문으로 볼 수 없습니다.

주시할 점 paper의 완전한 버전과 OpenAI, Anthropic, DeepMind 등 연구실들의 반응입니다. 해당 연구실들은 이 한계가 확인된다면 이를 반박하거나 완화하기 위해 노력할 것입니다.