연쇄적 사고(CoT)와 사고의 트리(ToT): LLM의 추론 능력을 한 단계 끌어올리는 프롬프팅 전략

연쇄적 사고(CoT)와 사고의 트리(ToT): 단순 답변을 넘어선 LLM의 체계적 추론 혁명

대규모 언어 모델(LLM)은 놀라운 속도로 발전하며 우리 삶의 다양한 영역에 영향을 미치고 있습니다. 하지만 복잡한 문제 해결이나 다단계 추론 능력에 있어서는 여전히 개선의 여지가 있죠. 마치 우리가 어려운 문제를 풀 때 단순히 답만 찾는 것이 아니라, 문제 해결 과정을 단계별로 차근차근 생각하는 것처럼 말입니다. LLM도 이러한 인간의 사고 과정을 모방하여 더 높은 수준의 추론 능력을 발휘하도록 돕는 다양한 프롬프팅 기법들이 연구되고 있습니다. 그중에서도 특히 주목받는 두 가지 전략, 바로 연쇄적 사고(Chain-of-Thought, CoT) 프롬프팅과 사고의 트리(Tree-of-Thoughts, ToT) 프롬프팅에 대해 자세히 알아보겠습니다.

---

연쇄적 사고(CoT) 프롬프팅: 생각의 흐름을 따라 정답으로

연쇄적 사고(CoT) 프롬프팅은 LLM이 복잡한 문제, 특히 여러 단계의 추론이 필요한 작업을 더 잘 수행하도록 유도하는 프롬프팅 기법입니다. 이 기법의 핵심은 LLM에게 최종적인 답만 바로 요구하는 대신, 문제 해결에 이르는 중간 단계의 생각 또는 추론 과정을 명시적으로 생성하도록 유도하는 것입니다.

작동 방식

CoT 프롬프팅은 LLM이 마치 사람이 문제를 풀 때처럼 "생각의 사슬"을 만들도록 안내합니다. 이는 프롬프트에 단계별 풀이 과정을 보여주는 몇 가지 예시(이를 'few shot sample'이라고 합니다)를 포함시키거나, 단순히 "단계별로 생각해보자(Let's think step by step)" 또는 "추론 과정을 단계별로 설명해줘"와 같은 지시 문구를 추가하는 방식으로 이루어질 수 있습니다. 이렇게 하면 모델은 단순히 정답을 찍는 것이 아니라, 논리적인 흐름을 따라 단계별로 추론하며 문제에 접근하게 됩니다.

• 비유: CoT는 마치 수학 문제를 풀 때, 정답만 적는 것이 아니라 풀이 과정을 순서대로 차근차근 써내려 가는 것과 같습니다. 각 단계는 다음 단계로 나아가는 논리적인 연결고리가 되며, 이 과정을 통해 복잡한 문제도 해결할 수 있게 됩니다.
• 예시: 만약 LLM에게 "하늘은 왜 파란색인가?"라고 CoT 프롬프팅을 사용하여 질문한다면, LLM은 다음과 같은 단계적 답변을 생성할 수 있습니다:
  1. "파란색"이란 무엇인가? (기본색 정의)
  2. 태양 빛이 대기를 통과할 때 어떻게 되는가? (빛의 산란 설명)
  3. 왜 다른 색보다 파란색이 더 많이 산란되는가? (레일리 산란 언급)
  4. 따라서 하늘은 파랗게 보인다.
     단순히 "하늘은 파랗다"라는 답변보다 훨씬 깊이 있는 이해를 보여줍니다.

CoT의 장점

CoT 프롬프팅은 모델이 생각의 흐름을 명확히 하도록 유도하여 복잡한 문제에 대한 정답률을 크게 높일 수 있습니다. 또한, 모델의 추론 과정을 투명하게 보여줌으로써 결과에 대한 신뢰도를 높이고, 오류 발생 시 원인을 파악하고 수정하는 데도 도움이 됩니다.

---

사고의 트리(ToT) 프롬프팅: 여러 갈래의 생각 길을 탐색하다

사고의 트리(ToT) 프롬프팅은 CoT에서 한 걸음 더 나아간 개념으로, 단일한 선형적인 사고의 연쇄 대신 여러 가능한 추론 경로를 동시에 탐색하는 프레임워크입니다. 이름에서 알 수 있듯이, 마치 나무가 여러 갈래의 가지를 뻗어나가듯, 문제 해결을 위한 다양한 가능성을 고려하고 평가하는 방식입니다.

작동 방식

ToT는 LLM이 마치 인간처럼 다양한 아이디어를 떠올리고, 각 아이디어의 장단점을 평가하며, 최적의 해결책을 찾아가는 과정을 모방합니다. 이 프레임워크는 일반적으로 다음과 같은 단계를 포함합니다:

1. 문제 분해 (Problem Decomposition): 복잡한 문제를 여러 개의 하위 단계나 생각의 단위로 나눕니다.
2. 사고 생성 (Thought Generation): 현재 상태에서 가능한 다음 단계 또는 중간 생각들을 여러 개 생성합니다. 이는 마치 나무의 각기 다른 가지를 탐색하는 것과 같습니다.
3. 상태 평가 (State Evaluation): 생성된 여러 중간 상태나 추론 경로의 유효성, 가능성, 유망성 등을 평가합니다. 때로는 LLM 자체를 평가자로 활용하여 각 생각의 질을 판단하기도 합니다.
4. 탐색 (Search): 너비 우선 탐색(BFS)이나 깊이 우선 탐색(DFS)과 같은 알고리즘을 사용하여 이 '사고의 트리'를 탐색합니다. 탐색 과정에서 가능성이 낮은 가지는 잘라내거나(pruning), 막다른 길에 다다르면 이전 단계로 되돌아가(backtracking) 다른 경로를 모색합니다.

• 비유: ToT는 마치 체스 게임에서 다음 수를 둘 때, 가능한 여러 수를 미리 생각해보고 각 수가 어떤 결과를 가져올지 예측한 후 최선의 수를 선택하는 과정과 유사합니다. 또는 휴가 계획을 세울 때, "어디로 갈까?"라는 초기 질문에서 시작해 해변, 도시, 산 등 다양한 선택지를 떠올리고, 각 선택지의 장단점(날씨, 비용, 거리 등)을 고려하여 최종 목적지를 결정하는 것과도 비슷합니다. 각 생각의 갈래는 나무의 가지처럼 뻗어 나가며, 우리는 가장 탐스러운 열매를 맺을 가지를 선택하게 됩니다.
• 예시: 물류 회사에서 여러 도시를 경유하는 최적의 배송 경로를 찾는 문제를 ToT 프롬프팅으로 LLM에게 제시한다고 가정해 봅시다. CoT라면 하나의 경로를 순차적으로 탐색하겠지만, ToT를 사용하면 LLM은 고속도로 이용 경로, 국도 이용 경로, 특정 시간대의 교통 상황을 고려한 경로 등 다양한 경로 옵션들을 동시에 탐색하고 각 경로의 효율성을 비교 평가하여 최적의 해답을 도출할 수 있습니다.

ToT의 장점

ToT는 여러 추론 경로를 동시에 탐색하고 평가함으로써 의사 결정의 질을 높이고, 복잡한 문제 해결 능력을 향상시킵니다. 특히 정해진 답이 없거나 다양한 가능성을 탐색해야 하는 창의적 글쓰기, 수학 문제 해결, 전략 게임 등에서 강력한 성능을 보입니다. 또한, 막다른 길에 도달했을 때 되돌아갈 수 있는 백트래킹 기능은 보다 유연하고 강인한 문제 해결을 가능하게 합니다.

---

CoT와 ToT: 무엇이 다를까?

CoT와 ToT는 모두 LLM의 추론 능력을 향상시키기 위한 강력한 기법이지만, 몇 가지 중요한 차이점을 가지고 있습니다.

특징	연쇄적 사고 (CoT)	사고의 트리 (ToT)
추론 방식	단일한 선형적, 순차적 추론 경로를 따름	여러 가능한 추론 경로를 동시에 탐색 및 평가 (가지치기)
탐색 범위	제한적	광범위하며, 깊이 있는 탐색 가능
의사 결정	각 단계에서 단일 경로를 선택	여러 대안을 생성하고 평가하여 최적 경로 선택
유연성	상대적으로 낮음 (한 방향으로 진행)	높음 (백트래킹을 통해 다른 경로 탐색 가능)
복잡도 및 자원	상대적으로 단순하고 자원 소모 적음	더 복잡하고 많은 계산 자원 필요 가능성
주요 적용 분야	단계별 논리가 중요한 문제 (예: 간단한 수학 문제, 논리 추론)	탐색, 전략, 창의성이 중요한 복잡한 문제 (예: 게임, 창의적 글쓰기, 어려운 수학 문제)

CoT는 하나의 잘 닦인 길을 따라 목표 지점까지 논리적으로 걸어가는 방식이라면, ToT는 여러 갈래의 길 앞에서 어떤 길이 가장 빠르고 안전하게 목표에 도달할 수 있을지 탐색하고, 때로는 갔던 길을 되돌아오기도 하며 최적의 경로를 찾아내는 탐험가의 여정과 같습니다. ToT는 CoT의 아이디어를 일반화하여 더욱 복잡하고 전략적인 사고를 가능하게 하는 프레임워크로 볼 수 있습니다.

---

마무리하며

연쇄적 사고(CoT)와 사고의 트리(ToT) 프롬프팅은 LLM이 단순한 정보 검색 도구를 넘어, 인간처럼 복잡한 문제를 깊이 있게 사고하고 창의적인 해결책을 제시할 수 있도록 이끄는 핵심 기술입니다. CoT가 LLM에게 논리적인 생각의 흐름을 가르쳐준다면, ToT는 한 걸음 더 나아가 여러 가능성을 탐색하고 최적의 판단을 내리는 전략적 사고 능력을 부여합니다. 물론 이러한 기법들이 완벽한 것은 아니며, 문제의 종류나 LLM의 크기에 따라 효과가 다를 수 있습니다. 하지만 CoT와 ToT는 LLM의 추론 능력을 한 단계 끌어올리고, 인공지능이 더욱 다양한 분야에서 인간과 협력하여 복잡한 과제를 해결하는 방법이 될 것입니다.

---

[2201.11903] Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

Chain-of-Thought Prompting Elicits Reasoning in Large Language Models

[2305.10601] Tree of Thoughts: Deliberate Problem Solving with Large Language Models

Tree of Thoughts: Deliberate Problem Solving with Large Language Models