LLM의 창발적 능력(Emergent Abilities)

LLM의 미스터리: 예측 불가능한 '창발적 능력'이란 무엇일까?

마치 숨겨져 있던 능력이 갑자기 깨어나는 것처럼, 대규모 언어 모델(LLM)은 특정 규모를 넘어서면서 이전에 없던 놀라운 능력들을 보여주기 시작합니다. 이를 '창발적 능력(Emergent Abilities)'이라고 부르며, 인공지능 연구자들에게 큰 관심과 함께 새로운 질문들을 던지고 있습니다. 이 글에서는 LLM의 창발적 능력이란 무엇이며, 어떤 예시들이 있는지, 그리고 왜 이러한 현상이 나타나는지 쉽고 자세하게 살펴보겠습니다.

LLM의 창발적 능력이란 무엇인가?

LLM의 창발적 능력이란 모델의 규모(파라미터 수, 훈련 데이터, 계산량)가 특정 임계점을 넘어서면서, 이전에는 예측하기 어려웠던 방식으로 갑자기 나타나는 것처럼 보이는 새로운 능력들을 의미합니다. 이러한 능력들은 더 작은 규모의 모델에서는 관찰되지 않거나 그 성능이 매우 미미하며, 모델이 해당 능력을 갖도록 명시적으로 설계되거나 직접 훈련되지 않았다는 특징이 있습니다. 마치 어린아이가 성장하는 과정과 비슷하다고 볼 수 있습니다. 아이의 키나 몸무게는 꾸준히 점진적으로 증가하지만, 어느 순간 갑자기 복잡한 문장을 구사하거나, 자전거를 타는 능력이 나타나는 것과 유사합니다. LLM 역시 모델의 크기가 커지고 학습 데이터가 많아짐에 따라 점진적인 성능 향상을 보이다가, 특정 지점에서 질적으로 다른 새로운 능력을 획득하는 것입니다.

핵심 특징

• 규모 의존성: 작은 모델에서는 나타나지 않거나 미미한 수준이지만, 모델 규모가 커지면서 특정 임계점을 넘으면 갑자기 발현됩니다.
• 예측 불가능성: 어떤 능력이 언제, 어떻게 나타날지 미리 예측하기 어렵습니다.
• 비명시적 학습: 해당 능력을 갖도록 직접적으로 훈련받지 않았음에도 불구하고 나타납니다.

창발적 능력의 구체적인 예시

LLM이 보여주는 창발적 능력에는 어떤 것들이 있을까요? 마치 갑자기 새로운 스킬을 습득한 게임 캐릭터처럼, LLM은 다양한 영역에서 놀라운 능력을 선보입니다.

1. 다단계 산술 연산 및 복잡한 논리 추론
단순한 덧셈, 뺄셈을 넘어 여러 단계의 계산이 필요한 수학 문제를 해결하거나 복잡한 논리적 추론을 수행하는 능력입니다. 예를 들어, GPT-3와 같은 모델은 특정 규모(약 130억 개 파라미터 이상의 훈련량)에 도달했을 때, 이전까지 거의 0점에 가까웠던 3자리 숫자 덧셈/뺄셈이나 2자리 숫자 곱셈 문제의 정확도가 갑자기 크게 향상되는 모습을 보였습니다. 이는 마치 수학 시험에서 갑자기 고득점을 받는 학생과 같습니다.

2. 문맥 이해 및 추론 (Few-shot Prompting)
별도의 미세 조정(fine-tuning) 없이, 몇 가지 예시(few-shot)만으로 새로운 작업을 이해하고 수행하는 능력입니다. 예를 들어, 영화 리뷰 몇 개를 보여주고 긍정적인지 부정적인지 알려주면, 새로운 리뷰에 대해서도 스스로 감성을 분석하여 분류할 수 있습니다. 마치 눈치가 빠른 사람이 몇 가지 상황만 보고도 전체 맥락을 파악하는 것과 비슷합니다.

3. 연쇄적 사고 (Chain-of-Thought, CoT) 추론
복잡한 질문이나 문제를 받았을 때, 정답에 도달하기까지의 중간 단계나 사고 과정을 단계별로 설명하며 추론하는 능력입니다. 단순히 답만 내놓는 것이 아니라, "이렇게 생각해서 이런 과정을 거쳐 답을 찾았어"라고 설명하는 선생님처럼 문제를 해결하는 것입니다. 이 능력은 특히 다단계 수학 단어 문제와 같이 복잡한 추론이 필요한 작업에서 LLM의 성능을 크게 향상시키는 것으로 나타났습니다.

4. 기타 창발적 능력
위에서 언급된 능력 외에도 다음과 같은 다양한 창발적 능력들이 관찰되고 있습니다.

• 아이러니, 유머 등 미묘한 언어적 뉘앙스 파악.
• 일관성 있고 논리적인 코드 생성.
• 특정 지시사항(예: 페르시아어로 질문에 답하기, 국제 음성 기호로 음역하기, 뒤섞인 단어 원래대로 배열하기 등)을 이해하고 따르는 능력.
• 시나 이야기와 같은 창의적인 글쓰기 능력.

창발적 능력은 어떻게 나타나는가?

그렇다면 이러한 창발적 능력은 왜, 어떻게 나타나는 것일까요? 아직 명확하게 밝혀진 것은 없지만, 몇 가지 가능성 있는 설명들이 제시되고 있습니다.

• 규모의 힘: 가장 주요한 요인으로 꼽히는 것은 역시 모델의 '규모'입니다. 방대한 양의 데이터를 학습하고, 수많은 파라미터를 통해 복잡한 패턴을 인식하면서, 양적인 변화가 질적인 변화를 이끌어내는 것으로 보입니다.
• 훈련 손실과의 관계: 일부 연구에서는 특정 능력이 모델 훈련 중 손실(loss, 모델의 예측과 실제 정답 간의 차이)이 특정 임계값 이하로 떨어질 때 갑자기 향상되는 경향을 보인다고 분석합니다. 이는 단순히 모델의 크기뿐만 아니라 학습의 '질' 또한 중요하다는 것을 시사합니다.
• 프롬프팅 전략의 역할: 연쇄적 사고(CoT) 프롬프팅처럼, LLM에게 어떻게 생각하고 답해야 하는지에 대한 '힌트'를 주는 특정 방식의 프롬프트가 대규모 모델에서 특히 효과적으로 창발적 능력을 이끌어내는 것으로 알려져 있습니다.

창발적 능력에 대한 다른 시각
한편에서는 이러한 창발적 능력이 정말 '새롭게 생겨난' 것인지, 아니면 우리가 사용하는 평가 방식 때문에 그렇게 보이는 것은 아닌지에 대한 논쟁도 있습니다. 예를 들어, 특정 평가 지표(예: 정확도)에서는 성능이 갑자기 급등하는 것처럼 보이지만, 다른 선형적인 평가 지표(예: 토큰 편집 거리)를 사용하면 성능 향상이 보다 점진적으로 나타난다는 주장이 제기되기도 했습니다. 다만, 이러한 주장에 대해서는 해당 평가 지표가 특정 능력(예: 산술 능력)을 제대로 반영하지 못한다는 반론도 있습니다. 또한, LLM이 보여주는 새로운 능력들이 사실은 방대한 데이터 속에서 이미 학습된 패턴을 정교하게 조합하여 보여주는 '상황 맥락 학습(In-Context Learning)'의 발전된 형태일 뿐, 진정한 의미의 새로운 능력 습득이나 깊이 있는 추론 능력의 발현으로 보기는 어렵다는 비판적인 시각도 존재합니다.

창발적 능력의 의미와 영향

LLM의 창발적 능력은 인공지능 기술의 미래에 대한 기대와 우려를 동시에 안겨줍니다.

긍정적 측면
창발적 능력의 발견은 LLM의 잠재력을 더욱 확장시켜, 인간의 언어를 이해하고 사용하는 수준을 넘어 창의적인 글쓰기, 복잡한 문제 해결 등 다양한 분야에서 LLM을 활용할 수 있는 길을 열어주고 있습니다. 이는 모델 규모를 더욱 확장하려는 강력한 동기가 되기도 합니다.

우려되는 측면
하지만 동전의 양면처럼, 예측 불가능성은 곧 통제의 어려움을 의미하기도 합니다. 갑자기 나타난 능력이 항상 긍정적이라는 보장이 없으며, 때로는 의도치 않은 편향, 기만적이거나 조작적인 행동, 또는 환각 현상(잘못된 정보를 사실처럼 생성)과 같은 유해한 결과물을 생성할 위험도 함께 커지기 때문입니다. 프롬프트 주입 공격을 통해 민감 정보가 유출되거나, LLM이 생성한 콘텐츠에 과도하게 의존하여 비판적 사고력이 저하될 수 있다는 점도 우려되는 부분입니다. 이러한 이유로 LLM의 안전성, 신뢰성, 그리고 제어 가능성을 확보하기 위한 연구와 국제적인 논의가 활발하게 이루어지고 있습니다.

마무리하며

LLM의 창발적 능력은 마치 우리가 아직 다 알지 못하는 미지의 영역과 같습니다. 엄청난 가능성을 품고 있지만, 동시에 신중한 접근과 깊이 있는 연구가 필요한 분야입니다. 창발적 능력의 존재 자체에 대한 학문적 논쟁은 여전히 진행 중이지만, 대규모 언어 모델이 이전 모델과는 다른 방식으로 복잡한 작업을 수행하며 우리를 놀라게 하고 있다는 점은 분명합니다.

---

https://arxiv.org/abs/2206.07682

Emergent Abilities of Large Language Models