| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- 트랜스포머
- self-attention
- rotary position embedding
- PEFT
- extended thinking
- model context protocol
- re-ranking
- SK AI SUMMIT 2025
- 토크나이저
- Langchain
- transformer
- Multi-Head Attention
- Engineering at Anthropic
- RLHF
- BLEU
- catastrophic forgetting
- gqa
- context engineering
- attention
- Embedding
- reinforcement learning from human feedback
- fréchet inception distance
- CoT
- MHA
- langgraph
- chain-of-thought
- MQA
- test-time scaling
- Positional Encoding
- flashattention
Archives
- Today
- Total
목록mechanistic interpretability (1)
AI Engineer 공간 "사부작 사부작"
트랜스포머 해석 가능성 기법: AI 모델의 의사결정 과정을 투명하게 들여다보는 고급 분석 방법론
트랜스포머 모델 해석 기법: 모델 속내를 들여다보는 방법들인공지능 분야에서 혁신적인 발전을 이끌고 있는 트랜스포머 모델은 그 뛰어난 성능만큼이나 복잡한 내부 작동 방식으로 인해 '블랙 박스'라는 별명을 가지고 있습니다. 트랜스포머 모델이 특정 예측이나 출력을 생성하는 이유를 이해하는 것은 모델의 디버깅, 신뢰도 향상, 성능 개선, 그리고 안전성 확보에 매우 중요합니다. 마치 복잡한 기계의 작동 원리를 파악하기 위해 다양한 도구를 사용하는 것처럼, 트랜스포머 모델의 속내를 들여다보기 위한 다양한 해석 기법들을 살펴보도록 하겠습니다.트랜스포머 모델, 왜 해석해야 할까요?트랜스포머 모델은 자연어 처리(NLP) 분야에서 괄목할 만한 성과를 거두며 다양한 분야에 적용되고 있지만, 모델의 의사 결정 과정을 이해하는..
Theory/Evaluation-Benchmarking
2025. 6. 4. 23:35