추론처럼 보이는 것과 추론 — 형식과 작동이 갈라지는 지점

추론처럼 보이는 것과 추론은 표면 형식으로 구별되지 않는다. 둘을 가르는 것은 결론이 전제들 사이의 논리적·증거적 관계에 따라 달라지는가, 곧 관계가 바뀌면 출력도 바뀌는 반사실적 민감성이다. LLM이 산출하는 추론 형태의 텍스트는 대개 이 민감성과 함께 가지만, 둘이 어긋나는 지점에서 그것이 추론이 아니라 추론의 외양이었음이 드러난다. 그래서 "LLM은 추론하는가"라는 물음은 그대로 답하기 어렵다. 더 정확한 물음은 어떤 조건에서 추론의 외양과 추론이 갈라지는가다.

추론의 표지는 형식이 아니라 관계에 대한 민감성이다

추론을 작동적으로 정의하면, 내용들 사이의 이행이 그 내용들이 맺는 관계의 통제를 받는 과정이다. 전제가 결론을 지지하는 방식에 따라 결론이 정해지고, 관계가 달라지면 결론도 달라진다. 합리성은 이유에 의해 수정되는 판단 구조다가 합리성을 믿음과 행동이 이유·증거·수정 가능성의 통제 아래 놓이는 형식으로 규정한 것이 이 정의의 다른 표현이다. 추론의 표지는 "따라서", "그러므로", "가정하면" 같은 단어의 등장이 아니라, 그 단어들이 가리키는 관계에 출력이 실제로 반응하는가에 있다.

이 정의가 중요한 이유는 형식이 추론을 결정하지 못하기 때문이다. 완벽한 단계 형태를 갖춘 텍스트가 정작 전제와 결론의 관계를 추적하지 않을 수 있고, 거꾸로 형식이 엉성해 보여도 관계에는 정확히 반응할 수 있다. 단계의 외양은 추론의 흔한 동반자일 뿐 추론 자체가 아니다. 따라서 어떤 출력이 추론인지 묻는 일은 그 출력이 관계의 변화에 따라 어떻게 달라지는지를 묻는 일로 옮겨 가야 한다.

사고의 연쇄는 답의 원인인가 사후의 외양인가

LLM에게 중간 단계를 생성하게 하면 산술과 논리 과제에서 성능이 오르는 경우가 있다. 사고의 연쇄(chain of thought)라 불리는 이 현상은 모델이 표면 통계 이상의 구조를 활용할 수 있음을 시사한다. 다음 토큰을 잘 예측하려면 때때로 잠재 변수를 내부에 표현해야 하기 때문이다. "철수가 영희보다 크고 민수가 철수보다 작지만 영희보다 크다"는 문장의 다음 토큰을 맞히려면, 모델은 단어 빈도가 아니라 키의 순서 관계를 어떤 형태로든 보존해야 한다. 이 점에서 다음 토큰 예측은 표면 복사가 아니라 조건부 계산의 문제로 바뀐다.

그러나 사고의 연쇄가 보여 주는 단계들은 답을 낳은 계산과 같은 것이 아니다. 그 단계들 역시 같은 다음 토큰 예측 절차로 생성되며, 답의 원인이라는 보장은 없다. 모델은 먼저 결론에 가까운 출력을 형성하고 그에 어울리는 풀이 서술을 뒤이어 붙일 수 있다. 그 경우 보이는 단계는 답이 도출된 경로가 아니라 답에 들어맞게 재구성된 외양이다. 이것은 지식처럼 보이는 것들이 검색 결과의 배치를 두고 지적한 구조와 닮아 있다. 정렬된 목록이 앎의 근거처럼 보이듯, 정돈된 풀이 서술은 추론의 과정처럼 보인다. 어느 경우든 보이는 형식과 그 형식을 만든 작동은 분리되어 있고, 둘의 일치는 우연적이다.

스도쿠가 외양을 깨뜨리는 이유

추론의 외양과 추론이 가장 선명하게 갈라지는 곳은 제약 만족 문제(CSP)다. 스도쿠는 행·열·블록 제약을 동시에 만족시켜야 하고, 지뢰찾기는 숫자 칸이 주변 지뢰 수라는 제약을 건다. 이런 문제를 안정적으로 풀려면 현재 보드, 후보 집합, 확정값, 가정, 모순, 되돌림 지점을 명시적으로 저장하고 갱신해야 한다. 즉 상태 공간을 유지하며 탐색 트리를 따라 내려가다가 모순이 생기면 이전 분기로 복구하는 절차가 필요하다.

도구 없이 텍스트만 입력받고 텍스트만 내보내는 조건에서 LLM은 이 절차를 수행하는 시스템으로 보기 어렵다. 모델은 "가정해 보자", "모순이 생긴다", "따라서 되돌아간다"는 문장을 만들 수 있지만, 그 문장을 생성하는 일과 탐색 트리의 노드를 실제로 보존하고 복구하는 일은 다르다. 백트래킹은 텍스트 안의 서술로만 나타나고, 보드 상태는 명시적 자료구조가 아니라 대화 문맥에 분산된다. 그래서 국소적으로 그럴듯한 판단이 전역 제약과 어긋날 수 있고, 자기회귀 생성은 앞에서 잘못 확정한 전제를 뒤 문장이 자연스럽게 이어받는다. 사용자가 느끼는 "갑작스러운" 오류는 대개 단절이 아니라, 누적된 작은 불일치가 특정 단계에서 표면화된 것이다.

이 실패는 진단적이다. 쉬운 보드에서는 한 칸만 보는 국소 규칙으로 답이 나오므로 풀이 서술과 정답이 일치하고, 그래서 추론처럼 보인다. 여러 칸의 후보 집합이 얽혀 전역 제약을 결합해야 하는 보드에서는 풀이 서술이 제약을 실제로 강제하지 않는다는 사실이 드러난다. 2025년 Sudoku-Bench는 도구 없이 풀게 한 조건에서 최상위 LLM도 변형 스도쿠 퍼즐의 일부만 해결한다고 보고했다. 이 결과는 모든 모델의 고정 한계를 증명한다기보다, 명시적 도구·검증기·탐색 절차 없이 선형 텍스트 생성만으로 제약 만족 문제를 다룰 때 드러나는 취약성을 보여준다. 여기서 무너지는 것은 논리 일반이 아니라, 풀이 형태의 텍스트를 만드는 능력과 제약을 강제하는 능력 사이의 동일성이다. 이 실패의 한 축은 상태 추적의 실패이며, 그것은 LLM의 상태 없음과 기억의 외재화가 다룬 사정과 이어진다. 모델은 보드를 담는 영속적 상태를 내부에 갖지 않는다. 상태는 바깥에서 유지되어야 하고, 그 유지가 없으면 제약은 토큰이 길어질수록 흐려진다.

트리처럼 갈라지는 공간, 하나의 선형 경로

탐색이라는 말은 여기서 한 번 더 보정되어야 한다. LLM의 생성 가능성 공간은 트리로 그릴 수 있다. 루트는 프롬프트이고, 각 접두 시퀀스마다 다음 토큰 후보가 갈라진다. 그러나 모델이 트리처럼 사고하는 것은 아니다. 모델은 분기 가능한 확률적 출력 공간에서 하나의 선형 경로를 왼쪽에서 오른쪽으로 디코딩해 보여줄 뿐이다. 가능성의 트리는 출력 공간을 기술하는 그림이지, 모델이 실행하는 절차가 아니다.

이 구분이 외양과 추론의 간극을 다시 벌린다. 조합 문제에 대한 추론은 여러 분기를 펼쳐 탐색하고 가지치기하며 모순에서 되돌아오는 과정이다. 단일 경로 디코딩은 그런 탐색을 수행하지 않는다. 그래서 출력이 탐색의 산물처럼 보여도, 보강 없이는 탐색이 일어나지 않은 것이다. Tree of Thoughts나 self-consistency처럼 여러 경로를 명시적으로 생성하고 평가하거나, 코드 실행기와 제약 solver를 결합하면 트리 구조가 비로소 실제 절차로 구현된다. 추론의 외양과 추론이 갈라지던 지점에서 그 보강이 작동한다는 사실 자체가, 맨몸의 선형 디코딩이 어디서 추론이 아니었는지를 거꾸로 가리킨다.

어느 수준의 추론을 말하는가

여기서 "추론"이라는 말은 세 수준으로 나뉜다. 행동 수준에서는 논리적 설명과 풀이를 산출하면 추론처럼 보인다. 계산 수준에서는 모델 내부에서 관계 표현, 규칙 적용, 상태 추정 같은 구조가 실제로 작동할 수 있다. 의식 수준에서는 지향성(intentionality)과 의미 이해와 주관적 경험이 있는지를 묻는다. 외양과 작동의 구분은 앞의 두 수준 사이에 놓인다. 현재 말할 수 있는 것은 첫째 수준과 일부 둘째 수준이며, 셋째 수준에 대해서는 단정할 근거가 없다.

이 분해는 두 극단을 함께 기각한다. 한쪽은 LLM을 학습한 언어 형식을 조합하는 확률적 앵무새(stochastic parrot)로만 본다. 이 설명은 모델이 일부 관계를 추적하는 내부 표현을 형성한다는 사실을 놓친다. 다른 쪽은 고급 출력에서 인간적 이해가 이미 발생했다고 본다. 이 설명은 그 추적이 부분적이고 취약하며, 통계와 타당성이 어긋나는 지점에서 타당성에 무관심해진다는 사실을 과소평가한다. 정밀한 자리는 둘 사이에 있다. 통계적으로 학습된 표현 위에서 수행되는 제한적 계산이라는 자리다.

지향적 태도(intentional stance)는 추론을 귀속하는 일이 행동 예측에 유용하기 때문에 정당하다고 말한다. 그러나 스도쿠의 사례는 그 태도에 영역 한계가 있음을 보여준다. 메커니즘이 관계를 강제하지 않는 지점에서 예측은 깨지고, 귀속은 빗나간다. 튜링 테스트를 넘어서가 지적하듯, 기계를 인간 유사성의 좌표로만 평가하면 기계의 실제 작동이 가려진다. 추론의 귀속도 인간을 닮은 유창함이 아니라 메커니즘이 관계를 추적하는 정도에서 판정되어야 한다. 형식이 옳더라도 그 기호들이 제약에 관한 것인지, 곧 무엇을 향하고 있는지는 행동만으로는 풀리지 않는 더 깊은 물음으로 남는다. 이 물음은 의식은 어떻게 조직되어 있는가가 다루는 지향성과 조직의 문제로 이어진다.

반론: 인간의 추론도 외양과 구별되지 않는다

가장 강한 반론은 인간을 끌어들인다. 인간도 결론을 먼저 내고 이유를 사후에 지어낸다. 분리뇌 실험과 작화(confabulation) 연구가 보여주듯, 우리가 보고하는 이유는 종종 결론의 실제 원인이 아니다. 그렇다면 풀이 서술이 답의 원인이 아니라는 비판은 인간에게도 그대로 적용된다. 보이는 추론과 실제 작동의 간극이 보편적이라면, LLM이 특별히 결함인 것도 아니고 "진짜 추론"이라는 기준 자체가 흐려진다.

이 반론은 진지하지만, 차이를 작화의 유무로 잡으려 할 때에만 성립한다. 인간도 작화한다. 결정적 차이는 작화의 유무가 아니라 관계 추적이 일어나는 자리와 범위다. 언어 보고가 사후적이더라도, 인간의 판단은 변화 아래에서 여전히 이유에 반응한다. 전제의 논리적 관계를 바꾸면 결론과 행동이 따라 움직이고, 압박이 가해지면 인간은 느리게나마 종이에 후보를 적어 가며 제약을 강제하고 모순에서 되돌아오는 탐색을 실제로 수행할 수 있다. 도구 없는 LLM이 CSP에서 실패하는 양상은 보고가 사후적이라는 것이 아니라, 그 규모에서 제약을 강제하는 계산 자체가 부재함을 보여준다. 따라서 관계에 대한 민감성이라는 기준은 둘을 가른다. 그것은 안과 밖이라는 이분법이 아니라 정도와 영역으로 가른다. 이 기준은 인간 쪽도 다시 정리한다. 인간의 작화는 다른 곳에서 일어난 추론을 보고가 놓친 경우이고, 도구 없는 LLM의 퍼즐 실패는 강제하는 계산이 일어났는지 자체가 의심되는 경우다.

외양과 추론이 갈라지는 지점을 기준으로

형식이 추론을 결정하지 못한다면, 던질 물음은 조건문의 형태를 띤다. 어떤 변화 아래에서 시스템의 출력은 여전히 관련 관계를 추적하는가. 추론의 표지는 유창한 표면이 아니라 갈라지는 지점에서의 수행이다. 새로운 구조, 전역 제약의 결합, 풀이 형태의 텍스트와 타당한 해가 어긋나는 문제가 그 지점이다. 그래서 평가와 설계는 매끄러운 서술이 아니라 이 분기점을 겨눠야 한다. 관계를 강제해야 하는 곳에는 명시적 탐색과 상태와 검증을 보강해야 하며, 도구와 solver의 결합이 간극을 메우는 자리가 바로 그 지점이라는 사실이 이를 뒷받침한다. 그리고 "추론"은 메커니즘이 실제로 관계를 추적하는 수준에 놓여야 한다. 부분적 능력을 부정하지도, 의식적 사고로 부풀리지도 않는 수준이다. 유창한 풀이 서술은 증거가 아니다. 증거는 관계가 휘어질 때 출력도 함께 휘어지는가에 있다.

이어 읽기

• 컨텍스트는 어떻게 판단 환경이 되는가 — 추론이 수행되는 입력 장면이 어떻게 배열되는지를 다룬다. 이 글이 추론과 외양의 구분이라면, 그 글은 그 구분이 일어나는 환경의 구성이다.
• LLM의 상태 없음과 기억의 외재화 — 제약을 추적하려면 무엇이 상태로 유지되어야 하는지를 앞선 다리 글의 관점에서 보강한다.
• 과정 없는 출력 — 출력의 의미를 그것을 만든 형성 과정의 계보에서 찾는다. 형식과 작동의 구분을 발생사의 각도에서 잇는다.
• AI 환각은 개소리인가 — 진실과의 연결이 체계적으로 부재한 발화 구조를 다룬다. 타당성에 무관심한 추론 형태의 텍스트라는 문제와 같은 계열이다.
• 검증과 신뢰의 인식론 — 무엇을 추론·지식·증거로 인정할 것인가라는 인식론적 본거지다.

작성 정보

초안 작성: Claude · Claude Opus 4.8 · Max Adaptive Thinking
검토·개고: ChatGPT · GPT-5.5 Extended Thinking

인포그래픽

작성일: 2026년 6월 3일