| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- gqa
- fréchet inception distance
- transformer
- rotary position embedding
- extended thinking
- MQA
- SK AI SUMMIT 2025
- catastrophic forgetting
- Positional Encoding
- Embedding
- context engineering
- PEFT
- MHA
- langgraph
- reinforcement learning from human feedback
- CoT
- model context protocol
- RLHF
- attention
- BLEU
- test-time scaling
- chain-of-thought
- Engineering at Anthropic
- Multi-Head Attention
- 트랜스포머
- 토크나이저
- flashattention
- Langchain
- re-ranking
- self-attention
Archives
- Today
- Total
목록parameter-efficient fine-tuning (1)
AI Engineer 공간 "사부작 사부작"
LoRA와 QLoRA: 거대 언어 모델을 내 손안에 맞추는 마법, PEFT 파헤치기
거대 모델을 내 손안에: LoRA와 QLoRA로 똑똑하게 모델 경량화하기인공지능, 특히 거대 언어 모델(LLM)은 우리 삶에 빠르게 스며들고 있습니다. 방대한 데이터를 학습하여 다양한 작업을 수행할 수 있지만, 특정 분야나 작업에 딱 맞게 활용하려면 추가적인 조정, 즉 '파인튜닝(fine-tuning)'이 필요합니다. 하지만 LLM의 모든 파라미터를 다시 학습시키는 '풀 파인튜닝(Full Fine-tuning)'은 마치 도시 전체를 재개발하는 것처럼 막대한 계산 자원과 비용, 그리고 시간을 요구합니다. 게다가 기존에 학습했던 지식을 쉽게 잊어버리는 '치명적 망각(catastrophic forgetting)' 현상도 발생할 수 있습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 파라미터 효율적 파인튜..
Theory/Training & Fine-Tuning
2025. 5. 18. 13:19