| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 |
- test-time scaling
- Positional Encoding
- Embedding
- reinforcement learning from human feedback
- transformer
- fréchet inception distance
- context engineering
- langgraph
- MQA
- Multi-Head Attention
- Engineering at Anthropic
- 토크나이저
- Langchain
- chain-of-thought
- PEFT
- extended thinking
- self-attention
- SK AI SUMMIT 2025
- RLHF
- attention
- CoT
- model context protocol
- MHA
- catastrophic forgetting
- re-ranking
- rotary position embedding
- 트랜스포머
- BLEU
- gqa
- flashattention
- Today
- Total
목록Theory/Reasoning (2)
AI Engineer 공간 "사부작 사부작"
Train-time & Test-time Scaling: AI 추론 모델의 두 가지 성능 향상 전략인공지능 모델이 복잡한 문제를 해결하는 과정은 마치 학생이 어려운 수학 문제를 풀어가는 과정과 닮아있습니다. 어떤 학생은 오랜 시간 공부해서 기본기를 탄탄히 다진 후 문제를 빠르게 풀어내고, 또 다른 학생은 시험 현장에서 충분한 시간을 들여 차근차근 생각하며 정답을 찾아갑니다. 최근 AI 분야에서 주목받고 있는 Train-time Scaling과 Test-time Scaling이 바로 이런 두 가지 접근 방식을 대변합니다. 특히 OpenAI의 o1 시리즈, DeepSeek-R1, Google의 Gemini Flash Thinking과 같은 추론 모델(Reasoning Models)들이 등장하면서, 단순히 모..
인 컨텍스트 학습(ICL)과 모델 규모: 크기가 만들어내는 마법대규모 언어 모델(Large Language Models, LLM)의 세계는 마치 끊임없이 확장하는 우주와 같습니다. 그 안에서 발견되는 놀라운 능력 중 하나가 바로 인 컨텍스트 학습(In-Context Learning, ICL)입니다. ICL이란 LLM이 모델의 가중치(파라미터)를 전혀 변경하지 않고, 오직 프롬프트 내에 제시된 몇 개의 예시(이를 '퓨샷 샘플'이라고도 합니다)나 지시사항만을 보고 새로운 작업을 수행하거나 특정 방식으로 응답하는 능력을 의미합니다. 마치 우리가 새로운 보드게임의 규칙을 설명서 없이 몇 번의 시범 플레이만 보고 배우는 것과 비슷하죠. 기존의 머신러닝 모델이 특정 작업을 위해 방대한 데이터를 학습하고 모델 자체를..