| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- MQA
- test-time scaling
- langgraph
- chain-of-thought
- Engineering at Anthropic
- re-ranking
- model context protocol
- RLHF
- PEFT
- MHA
- extended thinking
- transformer
- flashattention
- 토크나이저
- reinforcement learning from human feedback
- self-attention
- context engineering
- Embedding
- Positional Encoding
- fréchet inception distance
- SK AI SUMMIT 2025
- gqa
- Multi-Head Attention
- catastrophic forgetting
- Langchain
- CoT
- BLEU
- rotary position embedding
- 트랜스포머
- attention
Archives
- Today
- Total
목록multi-query attention (1)
AI Engineer 공간 "사부작 사부작"
GQA (Grouped Query Attention): 성능과 속도의 절묘한 줄타기, MHA와 MQA를 넘어서
GQA (Grouped Query Attention): 성능과 속도의 절묘한 줄타기, MHA와 MQA를 넘어서거대 언어 모델(LLM)의 심장에는 '어텐션(Attention)'이라는 핵심 메커니즘이 자리 잡고 있습니다. 이는 모델이 문장의 어떤 부분에 더 집중해야 할지 결정하는 능력으로, 인간의 독해 방식과 유사합니다. 초기 트랜스포머 모델의 멀티 헤드 어텐션(MHA)은 뛰어난 성능을 보였지만, 모델이 커지면서 막대한 계산 비용과 메모리 대역폭이라는 치명적인 병목 현상에 부딪혔습니다. 이러한 문제를 해결하기 위한 다양한 시도 끝에, 성능과 효율성 사이의 완벽한 균형점을 찾은 기술이 등장하게 되었습니다. GQA(Grouped Query Attention) 입니다. 이 글에서는 MHA(Mulit Head At..
Theory/LLM Architectures
2025. 6. 11. 08:17