| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- context engineering
- rotary position embedding
- CoT
- Multi-Head Attention
- reinforcement learning from human feedback
- langgraph
- Engineering at Anthropic
- BLEU
- 토크나이저
- chain-of-thought
- catastrophic forgetting
- MHA
- Positional Encoding
- attention
- flashattention
- SK AI SUMMIT 2025
- self-attention
- transformer
- 트랜스포머
- MQA
- model context protocol
- Langchain
- extended thinking
- fréchet inception distance
- gqa
- PEFT
- RLHF
- re-ranking
- test-time scaling
- Embedding
Archives
- Today
- Total
목록llama3 (1)
AI Engineer 공간 "사부작 사부작"
LLaMA의 지능을 깨우는 문지기: 게이팅(Gating) 메커니즘 완전 정복
LLaMA의 지능을 깨우는 문지기: 게이팅(Gating) 메커니즘 완전 정복인공지능, 특히 거대 언어 모델(LLM)의 세계는 복잡하고 정교한 아키텍처로 이루어져 있습니다. 그중에서도 LLaMA와 같은 최신 모델의 성능을 극대화하는 핵심 요소 중 하나가 바로 피드포워드(FeedForward) 신경망 내에 숨겨진 게이팅(Gating) 메커니즘입니다. 이는 단순히 정보를 전달하는 것을 넘어, 어떤 정보를 통과시키고 어떤 정보를 차단할지 지능적으로 제어하는 '문지기' 역할을 수행합니다. 이번 글에서는 LLaMA의 심장에서 정보의 흐름을 조율하는 게이팅 메커니즘의 원리를 깊이 있게 파헤쳐 보고자 합니다. 게이팅이 무엇인지, 어떻게 작동하는지, 그리고 왜 LLM에서 필수적인 기술로 자리 잡았는지 알아 보겠습니다.게..
Theory/LLM Architectures
2025. 6. 18. 08:29