| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 토크나이저
- Engineering at Anthropic
- model context protocol
- rotary position embedding
- test-time scaling
- attention
- fréchet inception distance
- Positional Encoding
- Embedding
- Multi-Head Attention
- reinforcement learning from human feedback
- MHA
- catastrophic forgetting
- SK AI SUMMIT 2025
- MQA
- BLEU
- transformer
- 트랜스포머
- PEFT
- flashattention
- extended thinking
- RLHF
- Langchain
- self-attention
- context engineering
- langgraph
- CoT
- re-ranking
- gqa
- chain-of-thought
Archives
- Today
- Total
목록rlaif (1)
AI Engineer 공간 "사부작 사부작"
AI 조율의 미학: RLHF부터 GRPO까지, LLM 정렬 기법 별 핵심과 선택 전략
LLM 정렬 기법 전격 비교: RLHF, RLAIF, DPO, GRPO 파헤치기대규모 언어 모델(LLM)이 우리 삶에 깊숙이 들어오면서, 이 AI가 인간의 의도와 가치에 부합하도록 만드는 '정렬(alignment)' 과정이 무엇보다 중요해졌습니다. 정렬이란 LLM이 단순히 똑똑한 것을 넘어, 우리에게 유용하고(helpful), 정직하며(honest), 무해하도록(harmless) 만드는 핵심 과정입니다. 마치 잘 훈련된 충견처럼, 강력한 능력을 올바른 방향으로 사용하도록 길들이는 것이죠.이를 위해 다양한 정렬 기법들이 연구되고 적용되고 있습니다. 마치 각기 다른 훈련법을 가진 조련사들처럼, 각 기법은 고유한 방식으로 LLM을 다듬어 나갑니다. 이번 글에서는 대표적인 정렬 기법인 RLHF, RLAIF, D..
Theory/Training & Fine-Tuning
2025. 5. 17. 16:05