| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- catastrophic forgetting
- self-attention
- re-ranking
- transformer
- Embedding
- CoT
- Engineering at Anthropic
- rotary position embedding
- Multi-Head Attention
- extended thinking
- PEFT
- attention
- langgraph
- context engineering
- test-time scaling
- 트랜스포머
- MQA
- flashattention
- gqa
- Positional Encoding
- fréchet inception distance
- RLHF
- model context protocol
- reinforcement learning from human feedback
- Langchain
- 토크나이저
- chain-of-thought
- MHA
- SK AI SUMMIT 2025
- BLEU
Archives
- Today
- Total
목록Residual Connection (1)
AI Engineer 공간 "사부작 사부작"
Residual Connection(잔차 연결): 깊은 신경망 학습의 혁신적 돌파구
Residual Connection(잔차 연결): 깊은 신경망 학습의 혁신적 돌파구딥러닝의 세계는 마치 끝없이 높아지는 마천루와 같습니다. 더 높은 성능을 위해 신경망을 더 깊게 쌓으려 하지만, 어느 순간부터는 오히려 성능이 떨어지는 역설적인 상황에 직면하게 됩니다. 마치 고층 건물을 지을 때 기초 공사가 부실하면 건물이 무너지는 것처럼, 깊은 신경망도 학습 과정에서 정보가 소실되어 제대로 훈련되지 않는 문제가 발생했습니다. 이러한 딥러닝 분야의 근본적인 한계를 해결한 것이 바로 Residual Connection(잔차 연결)입니다. 2015년 마이크로소프트 연구팀의 Kaiming He 등이 제안한 이 혁신적인 기술은, 단순하면서도 강력한 아이디어로 딥러닝 역사에 새로운 전환점을 만들어냈습니다. 오늘날 ..
Theory/LLM Architectures
2025. 6. 19. 08:16