| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 트랜스포머
- Multi-Head Attention
- extended thinking
- context engineering
- transformer
- Engineering at Anthropic
- CoT
- fréchet inception distance
- BLEU
- test-time scaling
- MHA
- Positional Encoding
- re-ranking
- 토크나이저
- PEFT
- rotary position embedding
- SK AI SUMMIT 2025
- gqa
- Embedding
- flashattention
- catastrophic forgetting
- langgraph
- Langchain
- RLHF
- reinforcement learning from human feedback
- attention
- chain-of-thought
- self-attention
- MQA
- model context protocol
Archives
- Today
- Total
목록Skip Connection (1)
AI Engineer 공간 "사부작 사부작"
Residual Connection(잔차 연결): 깊은 신경망 학습의 혁신적 돌파구
Residual Connection(잔차 연결): 깊은 신경망 학습의 혁신적 돌파구딥러닝의 세계는 마치 끝없이 높아지는 마천루와 같습니다. 더 높은 성능을 위해 신경망을 더 깊게 쌓으려 하지만, 어느 순간부터는 오히려 성능이 떨어지는 역설적인 상황에 직면하게 됩니다. 마치 고층 건물을 지을 때 기초 공사가 부실하면 건물이 무너지는 것처럼, 깊은 신경망도 학습 과정에서 정보가 소실되어 제대로 훈련되지 않는 문제가 발생했습니다. 이러한 딥러닝 분야의 근본적인 한계를 해결한 것이 바로 Residual Connection(잔차 연결)입니다. 2015년 마이크로소프트 연구팀의 Kaiming He 등이 제안한 이 혁신적인 기술은, 단순하면서도 강력한 아이디어로 딥러닝 역사에 새로운 전환점을 만들어냈습니다. 오늘날 ..
Theory/LLM Architectures
2025. 6. 19. 08:16