| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- catastrophic forgetting
- 트랜스포머
- context engineering
- gqa
- Positional Encoding
- self-attention
- RLHF
- MQA
- Embedding
- 토크나이저
- CoT
- test-time scaling
- Langchain
- BLEU
- langgraph
- model context protocol
- MHA
- attention
- transformer
- reinforcement learning from human feedback
- chain-of-thought
- Multi-Head Attention
- PEFT
- rotary position embedding
- Engineering at Anthropic
- fréchet inception distance
- re-ranking
- SK AI SUMMIT 2025
- flashattention
- extended thinking
Archives
- Today
- Total
목록post-ln (1)
AI Engineer 공간 "사부작 사부작"
트랜스포머 안정성의 비밀: Pre-LN과 Post-LN, 레이어 정규화의 위치가 중요한 이유
트랜스포머 안정성의 비밀: Pre-LN과 Post-LN, 레이어 정규화의 위치가 중요한 이유인공지능 모델의 세계는 마치 정교한 부품들로 조립된 고성능 엔진과 같습니다. 그중에서도 트랜스포머(Transformer) 아키텍처는 자연어 처리(NLP) 분야에서 압도적인 성능을 자랑하며 수많은 모델의 기반이 되어왔습니다. 하지만 이 강력한 엔진을 제대로 길들이는 데에는 한 가지 까다로운 조건이 따랐습니다. 바로 '학습률 예열(learning rate warm-up)'이라는 과정입니다. 모델 훈련 초기에 학습률을 매우 낮게 시작하여 점진적으로 높여가는 이 과정은 안정적인 학습을 위해 필수적이었지만, 동시에 훈련 시간을 늘리고 추가적인 하이퍼파라미터 튜닝을 요구하는 번거로움이 있었습니다. 그런데 만약 이 예열 과정을..
Theory/LLM Architectures
2025. 7. 1. 08:07