| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- test-time scaling
- BLEU
- flashattention
- Embedding
- PEFT
- context engineering
- langgraph
- CoT
- re-ranking
- Positional Encoding
- 토크나이저
- self-attention
- reinforcement learning from human feedback
- catastrophic forgetting
- gqa
- SK AI SUMMIT 2025
- Langchain
- Engineering at Anthropic
- MQA
- rotary position embedding
- fréchet inception distance
- model context protocol
- Multi-Head Attention
- RLHF
- 트랜스포머
- attention
- MHA
- chain-of-thought
- extended thinking
- transformer
Archives
- Today
- Total
목록positional embedding (1)
AI Engineer 공간 "사부작 사부작"
회전하는 나침반, RoPE(Rotary Position Embedding): LLM은 어떻게 단어의 순서를 기억하는가?
RoPE(Rotary Position Embedding): 절대 위치를 넘어 "상대적" 관계를 회전으로 새기는 임베딩의 혁신자연어 처리(NLP) 모델에게 문장이란 단순한 단어의 나열이 아닙니다. "왕이 왕비에게 반지를 주었다"와 "왕비가 왕에게 반지를 주었다"는 같은 단어로 이루어져 있지만, 단어의 순서, 즉 '위치' 때문에 전혀 다른 의미를 가집니다. 이처럼 트랜스포머와 같은 언어 모델이 단어의 순서와 위치 관계를 이해하도록 돕는 기술이 바로 '포지셔널 인코딩(Positional Encoding)'입니다. 초기 트랜스포머는 모든 단어에 절대적인 좌석 번호를 부여하는 방식(Absolute Positional Embedding)을 사용했습니다. 하지만 이 방식은 단어 간의 '상대적 거리'를 명시적으로 알려..
Theory/LLM Architectures
2025. 6. 10. 08:31