| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- model context protocol
- test-time scaling
- RLHF
- BLEU
- MQA
- re-ranking
- fréchet inception distance
- transformer
- context engineering
- 토크나이저
- 트랜스포머
- Multi-Head Attention
- langgraph
- Langchain
- extended thinking
- CoT
- flashattention
- Positional Encoding
- attention
- catastrophic forgetting
- PEFT
- gqa
- Engineering at Anthropic
- MHA
- reinforcement learning from human feedback
- SK AI SUMMIT 2025
- rotary position embedding
- Embedding
- self-attention
- chain-of-thought
Archives
- Today
- Total
목록tiesmerging (1)
AI Engineer 공간 "사부작 사부작"
모델 병합(Model Merging): 여러 두뇌를 하나로 합치는 AI 연금술
모델 병합: 여러 능력을 하나로 합치는 마법, Task Arithmetic과 SLERP 파헤치기인공지능(AI) 모델의 세계는 마치 다양한 재능을 가진 예술가들이 각자의 분야에서 최고의 작품을 만들어내는 모습과 같습니다. 어떤 모델은 아름다운 그림을 그리고, 다른 모델은 감동적인 음악을 작곡하며, 또 다른 모델은 뛰어난 글쓰기 실력을 뽐냅니다. 만약 이 예술가들의 독창적인 능력들을 한데 모아, 그림도 잘 그리고 음악도 잘 만들며 글도 잘 쓰는 '만능 예술가'를 탄생시킬 수 있다면 어떨까요? 모델 병합(Model Merging) 기술이 바로 핵심입니다. 모델 병합은 기본적으로 동일한 구조를 공유하지만, 각기 다른 데이터나 작업으로 섬세하게 다듬어진(파인튜닝된) 둘 이상의 모델의 '설정값(파라미터)'을 결합하..
Theory/Training & Fine-Tuning
2025. 5. 19. 20:46