| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 토크나이저
- rotary position embedding
- attention
- context engineering
- BLEU
- Engineering at Anthropic
- model context protocol
- re-ranking
- chain-of-thought
- test-time scaling
- Multi-Head Attention
- MHA
- catastrophic forgetting
- MQA
- Positional Encoding
- flashattention
- SK AI SUMMIT 2025
- PEFT
- reinforcement learning from human feedback
- 트랜스포머
- langgraph
- RLHF
- CoT
- self-attention
- Embedding
- transformer
- Langchain
- gqa
- fréchet inception distance
- extended thinking
Archives
- Today
- Total
목록padding (1)
AI Engineer 공간 "사부작 사부작"
마스킹(Masking): 트랜스포머 어텐션 메커니즘을 완성하는 핵심 기술
마스킹(Masking): 트랜스포머 어텐션 메커니즘을 완성하는 핵심 기술대규모 언어 모델(LLM)의 세계는 복잡하고 정교한 기술들의 집합체입니다. 그중에서도 트랜스포머(Transformer) 아키텍처는 현대 LLM의 근간을 이루고 있으며, 어텐션(Attention) 메커니즘은 그 핵심이라 할 수 있습니다. 하지만 어텐션이 제 역할을 다하도록 뒤에서 묵묵히 돕는 필수적인 기술이 있으니, 바로 마스킹(Masking)입니다. 마스킹은 특정 값을 가려 연산에서 제외함으로써 모델이 불필요하거나 보아서는 안 될 정보에 영향을 받지 않도록 하는 기법입니다. 이는 LLM의 성능과 생성 품질을 결정짓는 매우 중요한 요소로, 어텐션 메커니즘의 효과적인 작동을 위한 핵심 구성 요소입니다. 이번 글에서는 LLM의 심장부에서 ..
Theory/LLM Architectures
2025. 6. 20. 08:09