| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- gqa
- context engineering
- fréchet inception distance
- Engineering at Anthropic
- chain-of-thought
- Positional Encoding
- transformer
- 트랜스포머
- extended thinking
- flashattention
- Multi-Head Attention
- langgraph
- CoT
- 토크나이저
- Langchain
- MQA
- catastrophic forgetting
- test-time scaling
- model context protocol
- Embedding
- reinforcement learning from human feedback
- BLEU
- self-attention
- RLHF
- attention
- PEFT
- rotary position embedding
- re-ranking
- SK AI SUMMIT 2025
- MHA
Archives
- Today
- Total
목록gating (1)
AI Engineer 공간 "사부작 사부작"
LLaMA의 지능을 깨우는 문지기: 게이팅(Gating) 메커니즘 완전 정복
LLaMA의 지능을 깨우는 문지기: 게이팅(Gating) 메커니즘 완전 정복인공지능, 특히 거대 언어 모델(LLM)의 세계는 복잡하고 정교한 아키텍처로 이루어져 있습니다. 그중에서도 LLaMA와 같은 최신 모델의 성능을 극대화하는 핵심 요소 중 하나가 바로 피드포워드(FeedForward) 신경망 내에 숨겨진 게이팅(Gating) 메커니즘입니다. 이는 단순히 정보를 전달하는 것을 넘어, 어떤 정보를 통과시키고 어떤 정보를 차단할지 지능적으로 제어하는 '문지기' 역할을 수행합니다. 이번 글에서는 LLaMA의 심장에서 정보의 흐름을 조율하는 게이팅 메커니즘의 원리를 깊이 있게 파헤쳐 보고자 합니다. 게이팅이 무엇인지, 어떻게 작동하는지, 그리고 왜 LLM에서 필수적인 기술로 자리 잡았는지 알아 보겠습니다.게..
Theory/LLM Architectures
2025. 6. 18. 08:29