AI Engineer 공간 "사부작 사부작"

CoT 프롬프트의 그림자: LLM 다단계 추론, 왜 여전히 어려울까?"1부터 100까지 모든 숫자를 더하면 얼마일까요?" ChatGPT에게 이런 질문을 던지면, 마치 수학 선생님처럼 친절하게 단계별로 설명해줍니다. "먼저 등차수열의 합 공식을 사용해보겠습니다. n(n+1)/2 공식에 n=100을 대입하면... 100×101/2 = 5050입니다." 이렇게 차근차근 풀어주는 모습을 보면, 마치 LLM이 진짜로 '생각'하고 '추론'하는 것처럼 느껴집니다. 연쇄적 사고(Chain-of-Thought, CoT)와 같은 프롬프트 엔지니어링 기법은 분명 LLM의 문제 해결 능력을 놀랍도록 향상시켰습니다. 하지만 "기존에 없던 새로운 수학 정리를 증명해보세요"나 "이 소설 속 인물의 심리를 바탕으로 다음 장면을 예측..

연쇄적 사고(CoT)와 사고의 트리(ToT): 단순 답변을 넘어선 LLM의 체계적 추론 혁명대규모 언어 모델(LLM)은 놀라운 속도로 발전하며 우리 삶의 다양한 영역에 영향을 미치고 있습니다. 하지만 복잡한 문제 해결이나 다단계 추론 능력에 있어서는 여전히 개선의 여지가 있죠. 마치 우리가 어려운 문제를 풀 때 단순히 답만 찾는 것이 아니라, 문제 해결 과정을 단계별로 차근차근 생각하는 것처럼 말입니다. LLM도 이러한 인간의 사고 과정을 모방하여 더 높은 수준의 추론 능력을 발휘하도록 돕는 다양한 프롬프팅 기법들이 연구되고 있습니다. 그중에서도 특히 주목받는 두 가지 전략, 바로 연쇄적 사고(Chain-of-Thought, CoT) 프롬프팅과 사고의 트리(Tree-of-Thoughts, ToT) 프롬프..