전문가 혼합(Mixture of Experts, MoE) 아키텍처

MoE (Mixture of Experts): 거대 모델 시대의 효율적인 확장 전략

인공지능(AI) 모델, 특히 대규모 언어 모델(LLM)의 발전은 눈부시지만, 모델의 크기가 커질수록 엄청난 연산 비용과 메모리 요구량이라는 현실적인 문제에 직면하게 됩니다. 마치 모든 분야에 통달한 단 한 명의 만능 전문가에게 모든 일을 맡기려 할 때 그 전문가가 과부하에 걸리는 것과 비슷합니다. 이러한 한계를 극복하기 위한 혁신적인 아키텍처 중 하나가 바로 '전문가 혼합(Mixture of Experts, MoE)' 모델입니다. MoE는 AI 모델을 보다 효율적으로 확장하고 운영할 수 있는 새로운 가능성을 제시하며, 이미 여러 최첨단 LLM에 성공적으로 적용되고 있습니다.

이 글에서는 MoE 아키텍처의 핵심 개념과 작동 방식, 그리고 전통적인 밀집 모델(Dense Model)과 비교했을 때의 장단점을 비유와 예시를 통해 쉽게 알아보겠습니다.

밀집 모델(Dense Model): 모든 것을 아는 단 한 명의 전문가

MoE를 이해하기 전에, 먼저 기존의 일반적인 신경망 모델인 '밀집 모델(Dense Model)'에 대해 짚고 넘어갈 필요가 있습니다. 밀집 모델은 이름에서 알 수 있듯이, 모델 내의 모든 매개변수(parameter)가 입력 데이터를 처리하는 데 참여합니다.

밀집 모델의 작동 방식: 어떤 질문이든 혼자서 모든 지식을 동원해 답변해야 하는 '만능 박사'를 상상해 보세요. 이 박사는 역사, 과학, 예술, 스포츠 등 모든 분야의 질문에 대해 자신이 아는 모든 정보를 탐색하고 조합하여 답을 찾아냅니다. 모델의 모든 뉴런과 연결이 각 계산에 관여하는 것이죠.

하지만 이런 방식은 모델의 규모가 커질수록 몇 가지 어려움에 직면합니다.

• 높은 연산 비용: 모든 질문에 대해 박사가 자신의 모든 지식을 총동원해야 하므로, 질문 하나를 처리하는 데 많은 시간과 에너지가 소요됩니다. 즉, 모델의 모든 부분이 항상 활성화되어 계산량이 많습니다.
• 확장성의 한계: 박사의 지식(모델의 매개변수)을 늘릴수록 답변의 질은 높아질 수 있지만, 그만큼 더 많은 처리 시간과 더 큰 두뇌(메모리)가 필요하게 됩니다. 무작정 크기만 키우기에는 부담이 따릅니다.

MoE의 등장: 전문 분야별 드림팀의 협업

MoE 아키텍처는 이러한 밀집 모델의 한계를 극복하기 위해 등장했습니다. MoE의 핵심 아이디어는 "하나의 거대한 만능 전문가 대신, 각자 다른 전문 분야를 가진 여러 전문가를 두고, 문제(입력)의 성격에 따라 가장 적합한 전문가에게 일을 맡기자!는 것입니다.

MoE의 작동 방식: 거대한 종합 병원을 생각해 보세요. 환자가 방문하면, 접수처(라우팅 네트워크)에서 환자의 증상을 파악한 후 내과, 외과, 정형외과 등 가장 적절한 전문의(전문가 네트워크)에게 안내합니다. 모든 의사가 모든 환자를 동시에 진료하는 것이 아니라, 해당 분야의 전문가만 선택적으로 환자를 진료하는 방식이죠.

MoE 모델은 주로 트랜스포머(Transformer) 아키텍처의 피드포워드 네트워크(FFN) 계층을 여러 개의 작은 '전문가(expert)' 네트워크로 대체하는 형태로 구현됩니다. 각 전문가는 독립적인 신경망이며, 입력된 토큰(데이터의 작은 단위, 예: 단어)에 따라 소수의 전문가만이 활성화되어 계산을 수행합니다.

주요 구성 요소:

• 전문가 (Experts): 특정 종류의 데이터나 패턴 처리에 특화될 수 있는 여러 개의 작은 신경망입니다. 각 전문가는 특정 분야의 지식을 가진 전문의와 같습니다. 예를 들어, 어떤 전문가는 문법적 구조를 파악하는 데 능숙하고, 다른 전문가는 특정 주제(예: 과학, 역사)에 대한 지식을 잘 처리할 수 있습니다.
• 게이트 네트워크 (Gating Network 또는 Router): 입력 토큰을 받아 어떤 전문가에게 전달할지 결정하는 역할을 하는 작은 신경망입니다. 병원의 접수처처럼, 각 토큰의 특성을 보고 가장 적합한 전문가(들)를 선택하여 작업을 할당합니다. 이 라우터는 학습을 통해 어떤 토큰을 어떤 전문가에게 보내는 것이 가장 효율적인지 스스로 터득합니다.

예시: "We like to play soccer in the field"라는 문장이 입력되었다고 가정해 봅시다.
이미지에서 볼 수 있듯이, 'Router'는 각 단어(토큰)를 분석합니다. 예를 들어 'soccer'라는 토큰은 스포츠와 관련된 지식을 처리하는 데 특화된 'FFN 2' 전문가에게 전달될 수 있습니다. 반면, 'like to play'와 같은 일반적인 동사구는 다른 전문가인 'FFN 1'에게 할당될 수 있습니다. 중요한 점은 모든 단어가 모든 전문가에게 전달되는 것이 아니라, 선택된 소수의 전문가(보통 1~2개)에게만 전달되어 처리된다는 것입니다.

MoE 모델 vs. 밀집 모델: 장점과 단점 비교

MoE 모델은 밀집 모델에 비해 어떤 장점과 단점을 가지고 있을까요?

구분	MoE (Mixture of Experts) 모델	밀집 (Dense) 모델
개념	여러 전문가 중 일부 선택적 활성화 (희소 활성화, Sparse Activation)	모든 매개변수가 항상 활성화
비유	전문 분야별 의사팀과 접수처	모든 것을 아는 만능 박사
- 확장성/ 훈련 효율	적은 연산 자원으로 더 큰 모델(더 많은 총 매개변수) 훈련 가능	모델 크기 증가 시 훈련 비용 급증
- 추론 효율성	동일 총 매개변수 수 대비 추론 속도 빠름(활성 매개변수가 적음)	모든 매개변수 계산으로 추론 시간 김
- 전문가 특화	각 전문가가 특정 데이터 유형이나 패턴에 특화될 잠재력 있음	단일 모델이 모든 유형의 패턴 학습
- 훈련/구현 복잡성	전문가 간 부하 분산 필요 (보조 손실 함수 등) 훈련 안정성 확보 어려움, 하이퍼파라미터 튜닝 복잡	상대적으로 훈련 및 구현 단순
- 메모리 요구량	모든 전문가의 매개변수를 메모리에 로드해야 하므로 VRAM 요구량 큼	활성 매개변수=총 매개변수이므로, 동일 활성 파라미터 MoE 대비 메모리 적게 사용.
- 라우팅 오버헤드	게이트 네트워크의 토큰 라우팅 연산에 추가 비용 발생	라우팅 오버헤드 없음

MoE의 장점 요약:

• 더 적은 비용으로 더 큰 모델 훈련: MoE는 각 입력에 대해 모델의 일부만 활성화하므로, 전체 매개변수 수가 매우 크더라도 실제 연산량은 밀집 모델보다 훨씬 적습니다. 이는 제한된 컴퓨팅 예산으로 더 강력한 모델을 훈련할 수 있게 해줍니다. 마치 병원에 모든 전문의가 대기하고 있지만, 실제 진료에는 해당 환자에게 필요한 소수의 의사만 참여하여 효율을 높이는 것과 같습니다.
• 빠른 추론 속도: 훈련된 MoE 모델은 추론(실제 사용) 시에도 동일한 이유로 더 빠를 수 있습니다. 입력 토큰당 활성화되는 매개변수 수가 적기 때문입니다.
• 전문화를 통한 성능 향상 가능성: 각 전문가 네트워크는 특정 종류의 데이터나 작업에 특화되도록 학습될 수 있습니다. 이를 통해 전체 모델의 성능과 유연성을 높일 수 있습니다.

MoE의 단점 및 고려 사항:

• 훈련의 복잡성: 모든 전문가가 균형 있게 활용되도록 하는 것(부하 분산)이 중요합니다. 특정 전문가에게만 작업이 몰리거나, 반대로 어떤 전문가는 거의 사용되지 않는 상황을 막기 위해 추가적인 학습 메커니즘(예: 보조 손실 함수)이 필요합니다. 이는 훈련 과정을 더 복잡하게 만듭니다.
• 높은 메모리 요구량: 추론 시에는 일부 전문가만 계산에 참여하지만, 모델을 실행하려면 모든 전문가의 매개변수를 메모리(예: GPU의 VRAM)에 올려두어야 합니다. 따라서 총 매개변수 수가 많은 MoE 모델은 상당한 메모리 용량을 요구합니다.
• 통신의 오버헤드: 게이트 네트워크가 토큰을 적절한 전문가에게 보내는 과정 자체도 약간의 계산 시간을 소요합니다.

MoE, AI의 미래를 여는 열쇠

전문가 혼합(MoE) 아키텍처는 AI 모델, 특히 LLM의 규모를 효율적으로 확장하면서도 계산 비용을 관리할 수 있는 강력한 방법을 제공합니다. 밀집 모델이 가진 확장성의 한계를 '분할과 정복' 전략으로 해결하려는 시도이며, 이미 그 가능성을 입증하고 있습니다. 물론 MoE도 만능 해결책은 아닙니다. 훈련의 복잡성이나 높은 메모리 요구량과 같은 도전 과제들이 존재합니다. 하지만 이러한 단점들을 개선하기 위한 연구가 활발히 진행되고 있으며, 라우팅 알고리즘, 부하 분산 기술, 그리고 파인튜닝 방법론 등이 계속 발전하고 있습니다. 

---

https://research.google/blog/mixture-of-experts-with-expert-choice-routing/

Mixture-of-Experts with Expert Choice Routing

https://arxiv.org/abs/1701.06538

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer