| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- langgraph
- self-attention
- gqa
- Positional Encoding
- SK AI SUMMIT 2025
- 트랜스포머
- RLHF
- PEFT
- test-time scaling
- Engineering at Anthropic
- extended thinking
- BLEU
- re-ranking
- reinforcement learning from human feedback
- catastrophic forgetting
- 토크나이저
- MQA
- context engineering
- Multi-Head Attention
- fréchet inception distance
- Langchain
- CoT
- chain-of-thought
- flashattention
- model context protocol
- MHA
- Embedding
- attention
- transformer
- rotary position embedding
Archives
- Today
- Total
목록sft (1)
AI Engineer 공간 "사부작 사부작"
명령어 튜닝(Instruction Tuning)'과 '거부 샘플링(Rejection Sampling): LLM을 더 똑똑하게 만드는 비법
AI 조련 비법: 명령어 튜닝과 거부 샘플링으로 똑똑한 모델 만들기인공지능(AI), 특히 대규모 언어 모델(LLM)의 발전이 눈부십니다. 이제 AI는 단순히 정보를 검색하고 요약하는 것을 넘어, 인간과 대화하고 복잡한 작업을 수행하는 수준에 이르렀죠. 하지만 아무리 똑똑한 AI라도 사용자의 '말귀'를 제대로 알아듣고, 원하는 대로 정확하게 움직이게 하려면 특별한 훈련 과정이 필요합니다. 마치 뛰어난 재능을 가진 운동선수도 최고의 코치에게 섬세한 지도를 받아야 잠재력을 만개할 수 있는 것처럼 말이죠.오늘 소개할 '명령어 튜닝(Instruction Tuning)'과 '거부 샘플링(Rejection Sampling)'은 바로 이 AI를 더욱 똑똑하고 유용하게 만드는 핵심 조련 기술입니다. 이 두 가지 비법을 ..
Theory/Training & Fine-Tuning
2025. 5. 17. 15:52