CoT 프롬프트의 그림자: LLM 다단계 추론, 왜 여전히 어려울까?

CoT 프롬프트의 그림자: LLM 다단계 추론, 왜 여전히 어려울까?

"1부터 100까지 모든 숫자를 더하면 얼마일까요?" ChatGPT에게 이런 질문을 던지면, 마치 수학 선생님처럼 친절하게 단계별로 설명해줍니다. "먼저 등차수열의 합 공식을 사용해보겠습니다. n(n+1)/2 공식에 n=100을 대입하면... 100×101/2 = 5050입니다." 이렇게 차근차근 풀어주는 모습을 보면, 마치 LLM이 진짜로 '생각'하고 '추론'하는 것처럼 느껴집니다. 연쇄적 사고(Chain-of-Thought, CoT)와 같은 프롬프트 엔지니어링 기법은 분명 LLM의 문제 해결 능력을 놀랍도록 향상시켰습니다. 하지만 "기존에 없던 새로운 수학 정리를 증명해보세요"나 "이 소설 속 인물의 심리를 바탕으로 다음 장면을 예측해보세요" 같은 복잡하고 창의적인 문제를 던져보면 LLM은 갑자기 흔들리기 시작합니다. 이는 마치 고성능 스포츠카에 일반 도로용 타이어를 장착한 것과 비슷합니다. 엔진은 강력하지만 타이어의 본질적인 특성 때문에 그 성능을 온전히 발휘하기 어려운 것이죠. 이번 글에서는 CoT와 같은 프롬프트 기법만으로는 넘기 힘든 LLM 고유의 특성들을 살펴보고, 왜 다단계 추론이 여전히 LLM에게 어려운 숙제인지 그 이유를 파헤쳐 보겠습니다.

---

프롬프트 엔지니어링, 만능 열쇠는 아니다: CoT의 명암

CoT 프롬프트는 LLM에게 문제 해결 과정을 단계별로 명시하도록 유도하여, 최종 답변뿐만 아니라 그 과정까지 보여주게 만듭니다. 이는 분명 LLM의 추론 능력을 향상시키는 데 기여했지만, 연구에 따르면 CoT나 유사한 추론 기법들이 항상 직접 답변보다 뛰어난 성능을 보이지는 않으며, 때로는 오히려 낮은 성능을 나타내기도 합니다. 이는 CoT가 LLM의 잠재력을 끌어내는 도구일 뿐, LLM 자체가 가진 본질적인 한계를 극복하게 해주지는 못함을 시사합니다.

LLM 내재적 특성과 다단계 추론의 벽

LLM이 복잡한 다단계 추론에서 CoT와 같은 프롬프트 기법만으로 근본적인 한계에 부딪히는 이유는 다음과 같은 LLM 자체의 내재적 특성들과 깊이 관련되어 있습니다.

1. 표면적 패턴 민감성: 의미보다 형식에 치우친 이해

• 개념: LLM은 프롬프트의 단어 선택이나 문장 구조 등 표면적 형태에 매우 민감하게 반응합니다. 의미가 같더라도 표현 방식이 조금만 달라지면 결과가 불안정해질 수 있습니다.
• 설명: 이는 모델이 깊은 의미론적 이해보다는 방대한 텍스트 데이터에서 학습한 통계적 패턴에 크게 의존하기 때문입니다. LLM은 CoT 시연 과정에서 제시된 예시로부터 근본적인 패턴을 추론하는 데 어려움을 겪으며, 인간처럼 유연하고 구조화된 의미 표현을 형성하지 못합니다.
• 예시: "A는 B보다 크고, B는 C보다 크다. 누가 가장 큰가?"라는 질문과 "가장 키가 큰 사람을 순서대로 나열하면 A, B, C 순이다. 이 중 가장 키가 큰 사람은 누구인가?"라는 질문은 의미상 유사하지만, 표현 방식의 차이로 인해 LLM의 CoT 추론 과정이나 결과가 달라질 수 있습니다.
• 비유: 마치 특정 유형의 문제 풀이 공식만 암기한 학생과 같습니다. 공식에 정확히 들어맞는 문제는 잘 풀지만, 조금만 형식이 바뀌거나 새로운 유형의 문제가 나오면 배운 공식을 어떻게 적용해야 할지 몰라 당황하는 것과 유사합니다.

2. 내재된 추론 능력의 한계: 창조가 아닌 발현

• 개념: 프롬프팅은 모델이 이미 가진 잠재된 추론 능력을 이끌어내는 역할을 할 뿐, 모델이 원래 가지고 있지 않은 새로운 논리적, 수학적, 또는 상식적 추론 능력을 창조하지는 못합니다. LLM은 명시적인 다단계 추론 기능이나 세상의 작동 방식에 대한 모델(World Model)을 내장하고 있지 않습니다.
• 설명: CoT 역시 모델의 추론 과정을 단지 명시적으로 보여주는 것이며, 그 과정 자체에 오류가 포함될 수 있습니다. LLM은 엄격한 단계별 추론보다는 경험적 패턴에 의존하는 경향이 있으며, 명시적인 기호 조작이나 추론 엔진을 갖춘 것이 아니라 방대한 텍스트 데이터로부터 암묵적인 지식과 패턴을 학습했기 때문입니다. 진정한 의미의 이해나 복잡한 계획 수립 능력은 부족합니다.
• 예시: LLM에게 한 번도 본 적 없는 새로운 수학 정리를 증명하라고 CoT 프롬프트를 제공해도, LLM은 기존 학습 데이터에 없던 창의적인 증명 방법을 만들어내기 어렵습니다. 기존에 학습한 유사 문제 풀이 방식을 흉내 낼 수는 있지만, 진정한 의미의 '발견'은 힘든 것입니다.
• 비유: 뛰어난 암기력을 가진 배우에게 복잡한 연극 대본을 주고 연기하라고 하는 것과 같습니다. 배우는 대본(CoT 프롬프트)에 적힌 대사와 지시를 충실히 수행하여 그럴듯한 연기를 보여줄 수 있습니다. 하지만 대본에 없는 새로운 상황에 직면하거나, 등장인물의 감정에 대한 깊은 이해 없이 기계적으로 연기한다면 한계가 드러날 것입니다. 즉, 배우 스스로 새로운 대본을 창작하거나 즉흥 연기를 통해 극을 이끌어가는 데는 한계가 있는 것과 같습니다.

3. 환각 경향성: 그럴듯한 거짓말

• 개념: LLM은 학습 데이터의 지식 경계를 벗어나거나 매우 복잡한 추론을 요구받을 때, 사실이 아니거나 논리적으로 맞지 않는 내용을 그럴듯하게 생성(환각)하는 경향이 있습니다.
• 설명: 프롬프팅만으로는 생성된 내용의 사실성이나 논리적 건전성을 완벽하게 보장하기 어렵습니다. 이러한 환각은 LLM 아키텍처와 학습 방식에 내재된 문제로, LLM은 참/거짓의 개념 없이 단지 통계적으로 가장 그럴듯한 단어 시퀀스를 생성하기 때문입니다. 해결 불가능한 문제에 대해서도 그럴듯한 답을 꾸며낼 수 있습니다.
• 예시: "대한민국 5대 국왕의 업적을 CoT 방식으로 설명해줘"라고 질문했을 때, 실제 역사와 다른 가상의 업적을 논리적인 단계처럼 꾸며서 설명할 수 있습니다. 각 단계는 그럴듯해 보이지만 전체 내용은 사실이 아닌 것입니다.
• 비유: 상상력이 풍부하지만, 사실 확인에는 소홀한 이야기꾼과 같습니다. 어떤 주제에 대해 질문하면 매끄럽고 흥미로운 이야기를 술술 만들어내지만(CoT 과정), 그 이야기의 내용이 전부 사실에 기반한 것은 아닐 수 있습니다. 이야기꾼은 청중을 사로잡는 데 집중할 뿐, 이야기의 진위 여부는 크게 신경 쓰지 않는 것과 비슷합니다.

4. 오류 누적 및 수정의 어려움: 한번 잘못 디딘 발걸음

• 개념: CoT와 같이 선형적인 단계별 추론 방식에서는 초기 단계의 작은 오류가 후속 단계로 전파되어 최종 결과에 큰 영향을 미칠 수 있습니다.
• 설명: LLM의 자기회귀적(autoregressive) 생성 방식은 한번 잘못된 방향으로 진행된 추론을 중간에 스스로 수정하거나 다른 대안적인 경로를 탐색하기 어렵게 만듭니다. CoT 과정에서 명시적 추론이 약할 경우 발생하는 노이즈가 전체 프로세스를 저해할 수 있습니다.
• 예시: 복잡한 다단계 수학 문제 풀이에서 첫 번째 단계의 계산 실수가 발생하면, LLM은 그 오류를 인지하지 못한 채 잘못된 중간 결과를 다음 단계의 입력으로 사용합니다. CoT를 통해 각 단계를 명시하더라도, 첫 단추가 잘못 끼워지면 최종 답은 당연히 틀리게 됩니다.
• 비유: 도미노 게임과 같습니다. 첫 번째 도미노 블록이 잘못된 방향으로 쓰러지면, 그 영향이 연쇄적으로 다음 블록들에게 전달되어 결국 전체 도미노가 의도와 다른 방식으로 무너지는 것과 유사합니다. 각 단계(도미노 블록)는 앞선 단계의 결과를 바탕으로 진행되므로, 초기 오류는 바로잡기 어렵습니다.

5. 컨텍스트 길이 제한: 짧은 기억력의 한계

• 개념: 프롬프트에 담을 수 있는 정보의 양(예시, 지시사항)과 CoT 같은 추론 과정의 길이가 물리적으로 제한됩니다.
• 설명: LLM은 긴 대화나 방대한 텍스트에 걸쳐 일관성을 유지하거나 맥락을 파악하는 데 어려움을 겪을 수 있습니다. 매우 길고 복잡한 문제는 프롬프트만으로 해결하기 어렵습니다.
• 예시: 수백 페이지에 달하는 법률 문서를 분석하여 특정 조항들 간의 복잡한 관계를 CoT 방식으로 추론해야 할 때, LLM은 컨텍스트 길이 제한으로 인해 문서 전체의 내용을 한 번에 처리하지 못하고 중요한 초기 정보를 잊어버리거나, 앞뒤 맥락을 놓쳐 잘못된 결론에 도달할 수 있습니다.
• 비유: 한 번에 기억할 수 있는 전화번호 자릿수가 제한된 사람과 같습니다. 짧은 번호는 쉽게 기억하고 처리할 수 있지만, 국제 전화번호처럼 매우 긴 숫자는 한 번에 듣고 정확히 기억하거나 입력하기 어렵습니다. CoT가 각 단계별 지침을 제공하더라도, 전체 문제의 규모가 너무 크면 모든 정보를 동시에 고려하며 작업을 수행하기 힘든 것입니다.

---

마무리하며

결론적으로, CoT를 포함한 프롬프트 엔지니어링은 LLM의 능력을 최대한 활용하기 위한 강력한 인터페이스임은 분명합니다. 하지만 LLM 아키텍처와 학습 방식 자체에서 비롯되는 근본적인 한계를 완전히 극복할 수는 없습니다. 진정으로 복잡한 다단계 추론 능력을 획기적으로 향상시키기 위해서는 프롬프팅 기법의 발전과 더불어 모델 아키텍처, 학습 알고리즘, 데이터 전략 등 LLM 자체의 근본적인 개선이 병행되어야 합니다. 이러한 한계를 명확히 인식하는 것은 앞으로 더욱 정교하고 신뢰할 수 있는 AI 기술을 개발하는 데 중요한 밑거름이 될 것입니다.

---

[2310.16049] MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning

MuSR: Testing the Limits of Chain-of-thought with Multistep Soft Reasoning