LLaMA의 지능을 깨우는 문지기: 게이팅(Gating) 메커니즘 완전 정복

LLaMA의 지능을 깨우는 문지기: 게이팅(Gating) 메커니즘 완전 정복

인공지능, 특히 거대 언어 모델(LLM)의 세계는 복잡하고 정교한 아키텍처로 이루어져 있습니다. 그중에서도 LLaMA와 같은 최신 모델의 성능을 극대화하는 핵심 요소 중 하나가 바로 피드포워드(FeedForward) 신경망 내에 숨겨진 게이팅(Gating) 메커니즘입니다. 이는 단순히 정보를 전달하는 것을 넘어, 어떤 정보를 통과시키고 어떤 정보를 차단할지 지능적으로 제어하는 '문지기' 역할을 수행합니다. 이번 글에서는 LLaMA의 심장에서 정보의 흐름을 조율하는 게이팅 메커니즘의 원리를 깊이 있게 파헤쳐 보고자 합니다. 게이팅이 무엇인지, 어떻게 작동하는지, 그리고 왜 LLM에서 필수적인 기술로 자리 잡았는지 알아 보겠습니다.

---

게이팅(Gating)이란? 정보의 흐름을 제어하는 수도꼭지

딥러닝 모델이 학습하고 추론하는 과정은 결국 방대한 정보의 흐름과 같습니다. 게이팅은 이 정보의 흐름을 능동적으로 제어하는 모든 메커니즘을 의미합니다.

• 개념: 게이팅은 신경망의 특정 지점에서 정보가 얼마나 통과할지를 조절하는 기술입니다. 마치 수도꼭지를 열고 잠그는 것처럼, 게이트(Gate)라는 장치를 통해 정보의 양을 결정합니다. 이 게이트는 0과 1 사이의 값을 가지며, 곱셈 연산을 통해 정보의 통과 여부를 결정합니다. 게이트 값이 1에 가까우면 정보는 거의 그대로 통과하고, 0에 가까우면 정보는 차단됩니다.
• 비유: 고속도로의 톨게이트를 생각해볼 수 있습니다. 모든 차량(정보)이 무분별하게 지나가는 것이 아니라, 톨게이트(게이트)에서 특정 규칙에 따라 차량을 선별적으로 통과시키거나 막는 것과 같습니다. 이를 통해 교통 흐름(정보의 흐름)을 원활하고 효율적으로 관리할 수 있습니다. 과거 LSTM이나 GRU 같은 순환 신경망(RNN)에서는 이 게이팅을 통해 '잊을 정보'와 '기억할 정보'를 구분하며 고질적인 그래디언트 소실 문제를 해결하기도 했습니다.
• 예시: [5.1, -10.2, 33.3]라는 정보 벡터가 있다고 가정해 봅시다. 만약 두 번째 정보인 -10.2가 현재 작업에 불필요하다고 판단되면, 게이트 벡터는 [1.0, 0.0, 1.0]의 형태를 띨 수 있습니다. 두 벡터를 원소별로 곱하면(element-wise multiplication) 결과는 [5.1, 0, 33.3]이 되어 두 번째 정보가 효과적으로 차단됩니다.

---

게이팅의 두 가지 방식: 명시적(Explicit) vs 암시적(Implicit)

신경망에서 게이트를 구현하는 방식은 크게 두 가지로 나뉩니다. 개발자가 게이팅을 위한 별도의 모듈을 설계했는지, 아니면 활성화 함수 자체의 특성을 활용했는지에 따라 구분됩니다.

1. 명시적 게이팅 (Explicit Gating): 의도를 가진 설계자

명시적 게이팅은 개발자가 정보의 흐름을 제어하기 위해 의도적으로 별도의 게이트 모듈을 네트워크에 삽입하는 방식입니다. 네트워크는 이 모듈을 통해 어떤 정보를 통과시킬지 직접 학습합니다.

• 개념: 입력 정보가 두 개의 경로로 나뉩니다. 하나는 주된 정보를 처리하는 경로이고, 다른 하나는 이 정보의 각 요소를 통과시킬지 말지를 결정하는 '게이트 값'을 계산하는 경로입니다. 이 게이트 값은 보통 시그모이드(Sigmoid)와 같은 활성화 함수를 통해 0과 1 사이의 값으로 변환된 후, 주 정보 경로의 값과 곱해져 최종 출력을 만듭니다.
• 비유: 오케스트라의 지휘자와 같습니다. 각 연주자(정보의 각 차원)가 자신의 악보대로 연주할 준비를 하고 있을 때, 지휘자(게이트 모듈)가 특정 파트에는 강하게, 다른 파트에는 약하게 연주하라는 지시(게이트 값)를 내리는 것과 유사합니다. 이 지시를 통해 전체 음악(최종 출력)의 조화와 흐름을 정교하게 제어합니다.
• 예시: 입력 x가 있을 때, 주 정보 경로에서는 output = x · W1를 계산하고, 동시에 게이트 경로에서는 g = sigmoid(x · W2)를 계산합니다. 최종 결과는 final = output ⊙ g (⊙는 원소별 곱셈: element-wise multiplication)가 됩니다. 여기서 W2는 어떤 정보를 열고 닫을지를 결정하는 학습 가능한 지휘봉 역할을 합니다.

---

2. 암시적 게이팅 (Implicit Gating): 활성화 함수의 마법

암시적 게이팅은 별도의 게이트 모듈 없이 활성화 함수 자체의 고유한 특성이 게이팅과 유사한 효과를 내는 방식입니다. 대표적으로 SiLU(Swish) 활성화 함수가 이 역할을 수행합니다.

• 개념: SiLU 함수는 SiLU(x)=x⋅σ(x) (여기서 σ는 시그모이드 함수: Sigmoid)로 정의됩니다. 이 수식은 입력값 x의 크기에 따라 스스로 정보의 흐름을 조절합니다. 입력 x가 매우 큰 양수이면 σ(x)가 1에 가까워져 x가 거의 그대로 통과하고, x가 매우 작은 음수이면 σ(x)가 0에 가까워져 x의 정보가 거의 0으로 억제됩니다.
• 비유: 빛의 양에 따라 자동으로 조리개가 조절되는 자동 카메라와 같습니다. 외부의 빛(입력값 x)이 강하면 조리개를 열어 빛을 많이 받아들이고, 빛이 약하면 조리개를 닫아 빛을 차단하는 것처럼, 별도의 조작 없이도 입력값의 특성에 따라 반응하여 정보량을 조절합니다.
• 예시: 입력 벡터 x가 [20.0, -5.0, 0.1]일 때, SiLU를 통과하면 [20.0, -0.034, 0.053]과 같은 결과가 나옵니다. 큰 양수 20.0은 거의 그대로 유지되고, 큰 음수 -5.0은 0에 가깝게 억제되어 정보가 효과적으로 차단되는 것을 볼 수 있습니다.

---

LLaMA의 피드포워드: 명시적 게이팅의 정교한 활용

LLaMA의 피드포워드 모듈(SwiGLU)은 명시적 게이팅 방식을 채택하여 정보 제어 효과를 극대화합니다.

1. 두 개의 경로: 입력 데이터 x는 두 개의 평행한 경로로 나뉩니다.
   • Up Projection (정보 경로): x는 선형 변환을 통해 고차원 공간으로 확장됩니다. 이 경로는 정보 자체를 풍부하게 만드는 역할을 합니다.
   • Gate Projection (게이트 경로): x는 또 다른 선형 변환을 거친 후 SiLU 활성화 함수를 통과합니다. 여기서 각 정보의 중요도를 평가하는 게이트 값이 생성됩니다. 이는 명시적 게이팅 구조에 해당합니다.
2. 게이팅 적용: 정보 경로의 출력과 게이트 경로의 출력(게이트 값)을 원소별로 곱합니다. 이를 통해 중요한 정보는 강조되고 불필요한 정보는 억제되는 선택적 활성화가 일어납니다.
3. Down Projection (정보 정제): 게이팅을 거친 고차원의 정보는 마지막으로 Down Projection을 통해 다시 원래 차원으로 축소됩니다. 이 과정에서 핵심 정보만 압축 및 정제되어 다음 레이어로 전달됩니다.

---

바닐라(오리지널) 트랜스포머와의 차이점

LLaMA의 이러한 구조는 오리지널 트랜스포머의 피드포워드 네트워크와 중요한 차이를 보입니다.

• 정보 제어: 오리지널 트랜스포머는 ReLU 활성화 함수를 사용하는 단일 경로 구조로, 정보 제어 능력이 상대적으로 제한적입니다. 반면 LLaMA는 게이팅 메커니즘을 통해 훨씬 더 세밀하고 유연하게 정보 흐름을 조절할 수 있습니다.
• 차원 확장: 오리지널 트랜스포머는 보통 입력 차원을 4배로 고정하여 확장하지만, LLaMA는 GPU 연산 효율과 메모리 최적화를 위해 차원을 4배 확장했다가 다시 2/3로 줄이고 256의 배수로 맞추는 등 더 복잡하고 유연한 방식을 사용합니다.

마무리하며

게이팅 메커니즘은 LLM이 방대한 정보 속에서 핵심을 꿰뚫어 볼 수 있게 만드는 정교한 제어 장치입니다. 특히 LLaMA는 명시적 게이팅을 피드포워드 네트워크에 효과적으로 결합하여, 정보의 선택과 집중을 통해 모델의 성능과 효율성을 한 차원 끌어올렸습니다. 이처럼 신경망 내부의 정보 흐름을 어떻게 설계하고 제어하는지 이해하는 것은 LLaMA와 같은 최첨단 AI의 작동 원리를 파악하는 핵심이라고 할 수 있습니다.

---

https://arxiv.org/abs/2407.21783

The Llama 3 Herd of Models

https://arxiv.org/abs/2002.05202

GLU Variants Improve Transformer

https://arxiv.org/abs/1710.05941

Searching for Activation Functions