| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- MQA
- 트랜스포머
- model context protocol
- MHA
- CoT
- Multi-Head Attention
- reinforcement learning from human feedback
- fréchet inception distance
- self-attention
- test-time scaling
- flashattention
- BLEU
- PEFT
- extended thinking
- chain-of-thought
- 토크나이저
- Langchain
- transformer
- SK AI SUMMIT 2025
- re-ranking
- catastrophic forgetting
- Engineering at Anthropic
- Positional Encoding
- attention
- Embedding
- langgraph
- context engineering
- rotary position embedding
- gqa
- RLHF
Archives
- Today
- Total
목록alibi (1)
AI Engineer 공간 "사부작 사부작"
트랜스포머(Transformer): 포지셔널 인코딩(Positional Encoding)
트랜스포머의 위치 정보 주입 전략: 포지셔널 인코딩의 발전과 비교인간의 언어는 순서에 따라 의미가 달라집니다. "개가 소년을 물었다"와 "소년이 개를 물었다"는 같은 단어로 구성되었지만 완전히 다른 상황을 묘사합니다. 오늘은 트랜스포머 모델이 어떻게 이러한 순서 정보를 이해하는지, 그리고 최신 위치 인코딩 방법들이 어떻게 발전했는지 알아보겠습니다.포지셔널 인코딩이 필요한 이유트랜스포머 모델이 등장하기 전, 자연어 처리는 주로 RNN(Recurrent Neural Network)이나 LSTM 같은 순환 신경망 구조에 의존했습니다. 이러한 구조는 단어를 하나씩 순차적으로 처리하면서 자연스럽게 순서 정보를 기억할 수 있었죠. 하지만 트랜스포머는 근본적으로 다른 접근 방식을 취합니다. 모든 입력 단어를 동시에(..
Theory/Transfomer
2025. 5. 17. 11:28