| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Tags
- model context protocol
- rotary position embedding
- benchmark
- gqa
- attention
- flashattention
- fréchet inception distance
- CoT
- Rag
- Positional Encoding
- catastrophic forgetting
- PEFT
- MHA
- transformer
- Multi-Head Attention
- MCP
- MQA
- self-attention
- RLHF
- clip
- chain-of-thought
- Rope
- LLM
- 트랜스포머
- FID
- Lora
- reinforcement learning from human feedback
- re-ranking
- context
- BLEU
Archives
- Today
- Total
목록extended thinking (1)
AI Engineer의 '사부작' 공간
AI가 더 깊이 생각하게 만드는 기술: 테스트-타임 스케일링(Test-Time Scaling)과 예산 강제(Budget Forcing)
AI가 더 깊이 생각하게 만드는 기술: 테스트-타임 스케일링과 예산 강제인공지능(AI)의 세계는 마치 끊임없이 진화하는 생명체와 같습니다. 더 똑똑하고, 더 유능한 AI를 만들기 위한 연구는 하루가 다르게 새로운 지평을 열고 있죠. 최근 AI 분야에서 가장 주목받는 혁신 중 하나는 모델이 문제의 난이도에 따라 '생각하는 시간'을 조절할 수 있게 만드는 기술입니다. 우리가 간단한 질문에는 즉시 답하지만, 어려운 수학 문제나 복잡한 코드를 디버깅할 때는 더 많은 시간과 정신력을 쏟는 것과 마찬가지입니다. 이러한 유연성을 AI에 부여하는 핵심 개념이 바로 테스트-타임 스케일링(Test-Time Scaling)입니다. 이는 모델을 더 크게 만드는 대신, 이미 훈련된 모델이 답변을 생성하는 '테스트 시점'에 더 ..
Theory/Agents
2025. 6. 27. 08:20