LangGraph: LLM의 한계를 뛰어넘는 상태 기반 AI 에이전트 프레임워크

LangGraph: LLM, 단순 '텍스트 생성기'를 넘어 '지능형 문제 해결사'로 거듭나다

최근 몇 년간 거대 언어 모델(LLM)은 자연어 이해와 생성 능력에서 놀라운 발전을 보여주며, 우리의 삶과 산업 전반에 큰 변화를 가져오고 있습니다. 마치 인간처럼 글을 쓰고, 대화하며, 복잡한 질문에도 답하는 LLM의 능력은 무궁무진한 가능성을 열어주었죠. 하지만 이런 LLM도 만능은 아닙니다. 때로는 앞서 했던 말을 기억하지 못하거나, 복잡한 작업을 스스로 계획하고 실행하는 데 어려움을 겪기도 합니다. 마치 뛰어난 암기력을 가진 학생이지만, 배운 지식을 응용하거나 실제 문제를 해결하는 데는 서툰 모습과 같다고 할까요? 이러한 LLM의 한계를 극복하고, LLM을 단순한 '언어 도구'에서 스스로 목표를 설정하고, 계획하며, 외부 세계와 상호작용하여 문제를 해결하는 '지능형 에이전트'로 발전시키기 위한 노력이 활발하게 이루어지고 있습니다. 그 중심에 바로 LangGraph와 같은 AI 에이전트 프레임워크가 있습니다. 이번 글에서는 LangGraph가 LLM의 어떤 한계점을 해결하고자 하며, 이를 위해 어떤 강력한 기능들을 제공하는지 쉽고 자세하게 알아보겠습니다.

---

LLM, 아직 풀지 못한 숙제들: 핵심 한계점 분석

LLM은 그 자체로 강력하지만, 복잡한 실제 문제를 해결하기에는 몇 가지 근본적인 한계점을 가지고 있습니다.

• 깜빡깜빡하는 기억력: 상태 및 기억 관리의 부재
  LLM은 대화나 작업 중에 이전 정보를 오랫동안 기억하거나, 여러 세션에 걸쳐 상태를 유지하는 데 어려움이 있습니다. 대화가 길어지면 앞선 내용을 잊어버리거나, 사용자의 과거 선호도를 반영하지 못하는 경우가 대표적입니다. 이는 LLM이 주로 제한된 크기의 '컨텍스트 윈도우(Context Window)' 내의 정보만을 처리하기 때문입니다.
• 세상과 단절된 천재: 외부 세계와의 상호작용 능력 부족
  LLM은 학습된 데이터 외부의 실시간 정보에 접근하거나, 외부 시스템(API, 데이터베이스, 검색 엔진 등)을 직접 호출하여 사용하는 능력이 기본적으로는 없습니다. 예를 들어, LLM에게 "오늘 서울의 날씨는 어때?"라고 물어도, 실시간 날씨 정보를 가져올 방법이 없다면 정확한 답변을 주기 어렵습니다.
• 복잡한 일은 어려워: 복잡한 계획 및 작업 분해 능력 부족
  단순한 질의응답을 넘어 여러 단계로 이루어진 복잡한 목표를 달성하기 위해서는 체계적인 계획을 세우고, 이를 실행 가능한 하위 작업으로 나누는 능력이 필요합니다. 하지만 LLM 자체만으로는 이러한 복잡한 계획 수립 및 작업 분해에 한계가 있습니다.
• 실수는 몰라요: 자기 성찰 및 개선 능력 부족
  LLM은 자신이 생성한 결과물이나 계획의 문제점을 스스로 인지하고 수정하거나 개선하는 능력이 제한적입니다. 이로 인해 때로는 부정확하거나 비효율적인 결과를 내놓을 수도 있습니다.

---

LangGraph, LLM의 잠재력을 깨우는 열쇠: 핵심 기능 파헤치기

LangGraph는 위에서 언급된 LLM의 한계점들을 극복하고, LLM을 더욱 강력하고 지능적인 에이전트로 만들기 위해 다양한 기능적 구성요소들을 제공합니다. 마치 잘 훈련된 조수가 숙련된 전문가의 부족한 부분을 채워주듯, LangGraph는 LLM의 핵심 능력에 여러 보조 기능들을 결합하여 그 활용도를 극대화합니다.

복잡한 문제 해결의 청사진: 그래프 기반 아키텍처와 순환적 처리
LangGraph의 핵심은 애플리케이션의 로직을 그래프 형태로 구성한다는 점입니다. 각 처리 단계는 '노드(Node)'로, 데이터의 흐름은 '엣지(Edge)'로 표현됩니다. 이를 통해 개발자는 복잡한 작업을 시각적으로 명확하게 설계하고 관리할 수 있습니다.

• 개념: 여러 단계로 이루어진 작업을 노드와 엣지로 연결된 그래프 형태로 설계하여, 순차적 실행뿐 아니라 조건에 따른 분기, 반복(사이클) 등 유연한 제어 흐름을 구현합니다. 마치 요리 레시피에서 각 단계를 순서대로 따르되, 특정 재료의 상태에 따라 조리 시간을 조절하거나(조건부 분기), 원하는 농도가 될 때까지 계속 젓는(반복) 것과 유사합니다.
• 비유: 복잡한 프로젝트를 진행할 때, 각 업무 단계를 정의하고(노드), 업무 순서와 의존 관계를 설정하며(엣지), 필요시 특정 단계를 반복하거나(사이클) 상황에 따라 다른 업무로 전환하는(분기) 프로젝트 관리 도구를 떠올릴 수 있습니다. LangGraph는 이러한 프로젝트 관리 도구처럼 AI 에이전트의 작업 흐름을 체계적으로 관리합니다.
• 효과: 복잡한 목표를 여러 하위 작업으로 나누어 체계적으로 계획하고 실행할 수 있게 됩니다. 특히 순환적 처리(Cyclic Processing)를 지원하여, 에이전트가 도구나 다른 구성요소와 반복적으로 상호작용하며 점진적으로 문제를 해결하거나 피드백을 통해 개선하는 정교한 작업 수행이 가능해집니다.

---

외부 세계와의 소통 창구: 도구 사용(Tool Using)
LLM이 외부 세계의 정보에 접근하거나 특정 기능을 수행할 수 있도록 다양한 '도구'를 연결하고 활용하는 기능을 제공합니다.

• 개념: LLM이 필요에 따라 외부 API, 데이터베이스, 검색 엔진, 계산기 등 다양한 도구를 호출하고 그 결과를 활용할 수 있도록 인터페이스를 제공합니다.
• 예시: 여행 계획을 짜는 AI 에이전트를 상상해봅시다. 사용자가 "파리로 가는 가장 저렴한 항공권과 평점 좋은 호텔을 추천해줘"라고 요청하면, 에이전트는 항공권 검색 API(도구)를 호출하여 실시간 가격을 확인하고, 호텔 예약 사이트의 API(도구)나 웹 검색(도구)을 통해 평점 정보를 가져와 사용자에게 제공할 수 있습니다.
• 효과: LLM이 가진 지식의 한계를 넘어 실시간 정보에 접근하고, 계산, 코드 실행 등 LLM 자체만으로는 어려운 작업을 수행할 수 있게 됩니다.

---

잊지 않고 기억하는 똑똑함: 이중 메모리 시스템
LangGraph는 인간의 기억 체계와 유사하게 단기 기억(Short-term Memory)과 장기 기억(Long-term Memory)이라는 두 가지 메모리 시스템을 제공하여 대화나 작업의 맥락을 유지하고, 과거의 정보를 활용하여 보다 개인화되고 일관성 있는 상호작용을 가능하게 합니다.

단기 기억: 대화의 맥을 이어가는 기술
단기 기억(Thread-level Persistence)은 하나의 대화 세션 내에서 메시지 기록을 유지하여 다중 턴 대화를 가능하게 합니다.

• 개념: LangGraph에서 단기 기억은 thread_id로 구분되는 하나의 대화 시퀀스 내에서 메시지 히스토리를 추적합니다. 각 대화 스레드는 독립적으로 관리되며, 동일한 thread_id를 사용하는 모든 상호작용은 연결된 맥락을 유지합니다.
• 비유: 친구와 나누는 하나의 긴 전화 통화를 생각해보세요. 통화 중간에 잠깐 끊어졌다가 다시 연결되어도, 여러분은 방금 전까지 무슨 얘기를 하고 있었는지 기억하고 대화를 이어갑니다. 단기 기억은 이처럼 하나의 대화 세션 내에서 맥락을 유지하는 역할을 합니다.
• 예시: 다음과 같은 대화에서 AI가 이전 메시지를 기억하는 것을 볼 수 있습니다.
   
  - User: "안녕! 내 이름은 ChoYongho야"

  -  AI Agent: "안녕하세요. ChoYongho님, 오늘 어떻게 지내세요?"

  -  User : "내 이름이 뭐라고 했지?"

  -  AI Agent : "당신의 이름은 ChoYongho입니다."
• 구현: LangGraph는 InMemorySaver, PostgresSaver, MongoDBSaver, RedisSaver 등 다양한 체크포인터(Checkpointer)를 통해 단기 기억을 구현할 수 있습니다. 

장기 기억: 세션을 넘나드는 지속적 학습
장기 기억(Cross-thread Memory)은 여러 대화 세션에 걸쳐 사용자별 또는 애플리케이션별 데이터를 저장후 활용하는 기능입니다.

• 개념: 장기 기억은 Store 시스템을 통해 구현되며, 사용자의 선호도, 과거 대화 요약, 학습된 패턴 등을 지속적으로 저장합니다. 이 정보는 user_id나 namespace를 통해 체계적으로 분류되어 관리됩니다.
• 비유: 단골 카페의 바리스타가 여러분의 평소 주문을 기억하고 있다가, 몇 주 후에 방문해도 "평소처럼 아메리카노 톨 사이즈로 드릴까요?"라고 묻는 상황과 같습니다. 장기 기억은 이처럼 시간이 지나도 개인적인 정보와 선호도를 기억하여 맞춤형 서비스를 제공합니다.
• 예시: 고객 지원 시스템에서 사용자가 몇 달 전 문의했던 내용을 기억하고 있다가 새로운 문의 시 "지난번에 문의하셨던 배송 지연 문제는 해결되셨나요?"와 같이 개인화된 응대를 제공하는 경우입니다. 또한 의미적 검색(Semantic Search) 기능을 통해 "배가 고파"라는 질문에 대해 이전에 저장된 "피자를 좋아한다"는 정보를 찾아 연관지어 응답할 수 있습니다.
• 구현: PostgresStore나 RedisStore와 같은 영구 저장소를 통해 장기 기억을 구현할 수 있으며, 임베딩 모델을 활용한 의미적 검색 기능을 통해 관련성 높은 기억을 효율적으로 찾아낼 수 있습니다.

---

더 나은 결과를 위한 협력: 인간 참여 루프(Human-in-the-Loop)
AI 에이전트가 스스로 모든 것을 완벽하게 처리하기 어려울 수 있는 상황에서, 사람의 개입을 통해 작업의 정확성과 신뢰성을 높이는 기능입니다.

• 개념: 에이전트의 작업 흐름 중 특정 지점에서 실행을 잠시 멈추고 사람에게 검토, 승인, 수정, 또는 지시를 받을 수 있도록 하는 메커니즘입니다.
• 비유: 중요한 계약서를 작성하는 AI 비서가 초안을 완성한 후, 최종 결재를 받기 위해 변호사(사람)에게 검토를 요청하는 상황과 유사합니다. 변호사는 내용을 확인하고 필요한 부분을 수정하거나 승인하여 계약의 완성도를 높일 수 있습니다.
• 효과: 에이전트가 잘못된 방향으로 진행하는 것을 방지하고, 민감하거나 중요한 결정에 대한 통제권을 사람이 가짐으로써 결과물의 품질과 신뢰도를 향상시킵니다. 이는 에이전트의 자기 성찰 및 개선 능력을 간접적으로 보완하는 역할도 합니다.

---

다중 에이전트 협업: 팀워크로 시너지 창출
LangGraph는 단일 에이전트뿐만 아니라, 여러 에이전트가 협력하여 복잡한 문제를 해결하는 시스템 구축도 지원합니다.

• 개념: 각기 다른 역할이나 전문성을 가진 여러 LLM 기반 에이전트들이 서로 정보를 교환하고 상호작용하며 공동의 목표를 달성하도록 지원합니다.
• 예시: 새로운 제품 출시를 위한 시장 조사 보고서를 작성하는 작업을 생각해봅시다. 데이터 수집 전문 에이전트가 관련 시장 데이터와 경쟁사 정보를 수집하고, 데이터 분석 전문 에이전트가 수집된 데이터를 분석하여 인사이트를 도출하며, 보고서 작성 전문 에이전트가 분석 결과를 바탕으로 최종 보고서를 작성하는 방식으로 여러 에이전트가 협업할 수 있습니다.
• 효과: 각 에이전트가 자신의 전문 분야에 집중하여 작업 효율성을 높이고, 개별 에이전트만으로는 해결하기 어려운 복잡한 문제를 효과적으로 처리할 수 있습니다.

---

마무리하며

LangGraph와 같은 AI 에이전트 프레임워크는 LLM이 가진 본질적인 한계점들을 극복하고, 그 잠재력을 최대한으로 끌어올리는 데 핵심적인 역할을 합니다. 그래프 기반의 유연한 워크플로우 설계, 외부 도구와의 연동, 단기와 장기 메모리를 아우르는 강화된 메모리 시스템, 그리고 인간과의 시너지를 통해 LLM은 단순한 텍스트 생성 도구를 넘어, 스스로 목표를 이해하고, 계획하며, 실행하고, 심지어 다른 에이전트나 사람과 협력하여 복잡한 문제를 해결하는 정교한 '지능형 문제 해결 시스템'으로 발전하고 있습니다. 우리는 LangGraph와 같은 프레임워크를 통해 개발자들은 더욱 창의적이고 실용적인 AI 애플리케이션을 손쉽게 구축할 수 있게 될 것이며, 이를 통해서 다양한 비지니스 문제를 해결 할 수 있습니다.

---

https://langchain-ai.github.io/langgraph/

LangGraph