명령어 튜닝(Instruction Tuning)'과 '거부 샘플링(Rejection Sampling): LLM을 더 똑똑하게 만드는 비법

 

AI 조련 비법: 명령어 튜닝과 거부 샘플링으로 똑똑한 모델 만들기

인공지능(AI), 특히 대규모 언어 모델(LLM)의 발전이 눈부십니다. 이제 AI는 단순히 정보를 검색하고 요약하는 것을 넘어, 인간과 대화하고 복잡한 작업을 수행하는 수준에 이르렀죠. 하지만 아무리 똑똑한 AI라도 사용자의 '말귀'를 제대로 알아듣고, 원하는 대로 정확하게 움직이게 하려면 특별한 훈련 과정이 필요합니다. 마치 뛰어난 재능을 가진 운동선수도 최고의 코치에게 섬세한 지도를 받아야 잠재력을 만개할 수 있는 것처럼 말이죠.

오늘 소개할 '명령어 튜닝(Instruction Tuning)'과 '거부 샘플링(Rejection Sampling)'은 바로 이 AI를 더욱 똑똑하고 유용하게 만드는 핵심 조련 기술입니다. 이 두 가지 비법을 통해 AI가 어떻게 사용자의 지시를 더 잘 이해하고, 더 나은 결과물을 만들어내는지 함께 알아보겠습니다.

명령어 튜닝(Instruction Tuning): AI에게 '지시'를 가르치는 기술

먼저 '명령어 튜닝'에 대해 알아보기 전에, 이와 자주 비교되는 '일반적인 지도 파인튜닝(Supervised Fine-tuning, SFT)'이 무엇인지 간단히 짚고 넘어가겠습니다.

일반적인 지도 파인튜닝(SFT)이란?

지도 파인튜닝(SFT)은 이미 방대한 데이터로 사전 학습된 모델(Pre-trained Model)을 특정 작업에 더 능숙하도록 추가 학습시키는 과정입니다. 이때 사용되는 학습 데이터는 보통 (입력, 정답 출력)의 쌍으로 구성됩니다.

• 비유: 이미 다양한 요리 경험을 쌓은 숙련된 요리사(사전 훈련 모델)에게 특정 레스토랑의 대표 메뉴(특정 작업) 레시피를 알려주고, 그 메뉴를 완벽하게 만들 수 있도록 집중 훈련시키는 것과 같습니다. 예를 들어, "이 문장은 긍정적인가 부정적인가?"라는 질문에 "긍정적"이라고 답하는 법을 배우는 것이죠.

이 방식은 특정 작업에서 모델 성능을 효과적으로 끌어올릴 수 있지만, 한계도 있습니다. 특정 레시피에는 달인이 될 수 있지만, 전혀 새로운 종류의 요리(새로운 작업)를 주문받으면 당황하거나 제대로 해내지 못할 수 있는 것처럼 말이죠.

명령어 튜닝은 무엇이 다른가?

명령어 튜닝 역시 지도 파인튜닝의 일종이지만, 여기서 핵심적인 차이는 학습 데이터에 '명령어(Instruction)'가 명시적으로 포함된다는 점입니다. 일반적인 SFT가 입력과 그에 대한 정답만을 학습한다면, 명령어 튜닝은 모델에게 "무엇을 해야 하는지" 구체적으로 지시하는 내용을 함께 제공합니다.

• 데이터 형식: (명령어, 입력, 바람직한 출력) 또는 (명령어 + 입력, 바람직한 출력)의 형태로 구성됩니다.
  • 예시:
    • 일반 SFT 데이터: ("이 영화 정말 최고였어!", "긍정")
    • 명령어 튜닝 데이터: ("다음 문장의 감정을 분석하고 '긍정' 또는 '부정'으로 답하세요: 이 영화 정말 최고였어!", "긍정")
• 목표: 단순히 특정 작업의 성능을 높이는 것을 넘어, 모델이 다양한 형태의 자연어 '지시'를 이해하고 이를 따르는 일반적인 능력을 학습하도록 하는 데 있습니다. 즉, 모델이 사용자의 의도를 더 잘 파악하고, 처음 보는 새로운 지시에도 적절히 대응할 수 있도록 훈련하는 것입니다.
• 비유: 요리사에게 단순히 "이 재료로 이 요리를 만들어"라고 레시피만 주는 것이 아니라, "오늘은 신선한 해산물을 사용해서 매콤하면서도 깔끔한 맛의 파스타를 만들어줘. 면은 알덴테로 삶고, 마늘향을 풍부하게 내되 너무 느끼하지 않게 해줘"와 같이 구체적인 '요청 사항(명령어)'을 전달하고, 그 요청에 맞춰 요리할 수 있도록 훈련하는 것과 같습니다.
• 효과:
  • 범용성 증대: 다양한 종류의 지시를 처리할 수 있게 되어 모델이 훨씬 다재다능해집니다.
  • 새로운 작업에 대한 일반화 성능 향상: 이전에 접해보지 못한 새로운 작업이나 지시에도 더 잘 대응할 수 있게 됩니다(제로샷 또는 퓨샷 성능 향상).
  • 예측 가능하고 유용한 응답: 모델이 사용자의 목표에 더 부합하는, 예측 가능하고 유용한 답변을 생성하도록 돕습니다.

명령어 튜닝은 모델이 사용자의 "빵 굽는 법을 가르쳐 주세요"와 같은 요청에 실제 빵 굽는 조언을 담아 응답하도록 '학습'시키는 것과 같습니다. 이를 통해 모델의 기본적인 다음 단어 예측 능력과 사용자 목표 사이의 간극을 메워줍니다.

거부 샘플링(Rejection Sampling): 최고의 답변만 골라 쓰는 '깐깐한 심사위원'

명령어 튜닝을 포함한 모든 종류의 모델 학습에서 가장 중요한 것 중 하나는 바로 학습 데이터의 품질입니다. 아무리 좋은 학습 방법론이라도, 품질 낮은 데이터로 학습한다면 좋은 모델을 기대하기 어렵습니다. 마치 최고의 요리사를 키우려면 신선하고 질 좋은 식재료를 공급해야 하는 것과 같죠. 하지만 항상 완벽한 데이터만 확보하기란 현실적으로 어렵습니다. 이때 유용하게 사용될 수 있는 기법이 바로 '거부 샘플링'입니다.

거부 샘플링이란?

거부 샘플링(Rejection Sampling, RS)은 모델이 생성한 여러 후보 응답들 중에서 가장 품질이 좋다고 판단되는 응답만을 선별하여 최종 학습 데이터셋에 포함시키는 데이터 정제 기법입니다. 이름에서 알 수 있듯이, 기준에 미치지 못하는 응답들은 '거부'하고 우수한 응답만 '샘플링'하는 방식입니다.

• 목적: 학습 데이터셋의 전반적인 품질을 향상시켜, 최종적으로 모델의 성능과 사용자 지시 사항과의 정렬(alignment) 수준을 높이는 데 있습니다.
• 비유: TV 오디션 프로그램과 비슷합니다. 수많은 참가자(모델이 생성한 후보 응답)들이 각자의 실력을 뽐내면, 심사위원단(미리 정의된 평가 기준 또는 보상 모델)이 이를 엄격하게 평가합니다. 그리고 그중에서 가장 뛰어난 소수의 참가자(가장 품질 좋은 응답)만이 다음 라운드(최종 학습 데이터셋)에 진출할 자격을 얻는 것이죠.

거부 샘플링 과정 엿보기

거부 샘플링은 일반적으로 다음과 같은 단계를 거쳐 진행됩니다.

1. 후보 생성 (Generating Completions): 먼저, 주어진 지시사항(프롬프트)에 대해 현재 학습시키려는 모델을 사용하여 여러 개(N개)의 다양한 응답 후보(Completions)를 생성합니다. 오디션 프로그램에서 여러 참가자들이 각자의 무대를 준비해 선보이는 단계라고 할 수 있습니다.
2. 품질 평가 (Reward Modeling): 생성된 각각의 응답 후보에 대해 미리 정의된 기준을 사용하여 품질을 평가합니다. 이 평가는 별도의 '보상 모델(Reward Model)'을 통해 이루어질 수도 있고, 특정 규칙의 만족 여부, 또는 인간 평가자가 직접 점수를 매길 수도 있습니다. 심사위원들이 각 참가자의 노래, 춤, 연기 등을 보고 점수를 매기는 단계와 같습니다. 보상 모델은 특정 프롬프트에 대한 응답이 얼마나 좋은지를 나타내는 점수를 계산합니다.
3. 선별 (Filtering and Fine-tuning): 평가 점수가 가장 높은, 즉 가장 품질이 좋다고 판단된 응답(들)만을 최종적으로 선별합니다. 그리고 이렇게 엄선된 고품질의 응답들만을 사용하여 원래 모델을 다시 미세 조정(fine-tuning)합니다. 오디션에서 높은 점수를 받은 참가자들만이 합격하여 다음 단계의 트레이닝을 받는 것과 같습니다.

이 과정에서 핵심적인 역할을 하는 것은 보상 모델입니다. 보상 모델이 좋은 응답과 그렇지 않은 응답을 얼마나 잘 구분해내느냐에 따라 거부 샘플링의 효과가 크게 달라질 수 있습니다.

거부 샘플링의 효과

• 학습 데이터의 질적 향상: 품질이 낮은 응답들을 걸러내고 양질의 예시 데이터만으로 학습 데이터셋을 구성할 수 있습니다.
• 모델 성능 향상: 더 깨끗하고 정제된 데이터로 학습함으로써 모델이 더 정확하고, 유용하며, 사용자의 의도에 부합하는 답변을 생성하도록 유도할 수 있습니다.
• 비유: 엄선된 최고급 식재료로 정성껏 만든 요리가 더 깊은 풍미와 뛰어난 맛을 내는 것처럼, 거부 샘플링을 통해 잘 정제된 데이터로 학습한 AI 모델은 더욱 뛰어난 성능과 만족스러운 결과물을 보여줄 것입니다.

마무리하며

명령어 튜닝과 거부 샘플링은 대규모 언어 모델을 더욱 지능적이고 사용자 친화적으로 만드는 데 기여하는 강력한 기술입니다. 명령어 튜닝은 AI가 다양한 '지시'를 정확히 이해하고 따르도록 훈련시켜 그 범용성을 넓히고, 거부 샘플링은 학습 데이터의 질을 극대화하여 AI의 답변 완성도를 한층 끌어올립니다. 

---

https://arxiv.org/abs/2109.01652

Finetuned Language Models Are Zero-Shot Learners