AI Engineer 공간 "사부작 사부작"

LLM의 첫 단추, 토크나이저: 텍스트를 숫자로 바꾸는 마법거대 언어 모델(LLM)이 마치 사람처럼 글을 쓰고, 대화하고, 번역하는 모습을 보면 경이롭기까지 합니다. 하지만 컴퓨터는 본질적으로 '텍스트'를 이해하지 못합니다. 오직 숫자만을 처리할 수 있을 뿐이죠. 그렇다면 LLM은 어떻게 우리가 사용하는 자연어를 이해하고 처리하는 걸까요? 그 비밀의 첫 단추는 바로 토크나이저(Tokenizer)에 있습니다. 토크나이저는 인간의 언어를 기계가 이해할 수 있는 숫자 데이터로 변환하는 필수적인 다리 역할을 합니다. 이 과정이 없다면 LLM은 그저 복잡한 연산을 수행하는 기계에 불과할 것입니다. 이번 글에서는 LLM의 심장부로 들어가는 첫 관문인 토크나이저의 개념부터 시작해, 서브워드 방식, 임베딩, 그리고 모..

RoPE(Rotary Position Embedding): 절대 위치를 넘어 "상대적" 관계를 회전으로 새기는 임베딩의 혁신자연어 처리(NLP) 모델에게 문장이란 단순한 단어의 나열이 아닙니다. "왕이 왕비에게 반지를 주었다"와 "왕비가 왕에게 반지를 주었다"는 같은 단어로 이루어져 있지만, 단어의 순서, 즉 '위치' 때문에 전혀 다른 의미를 가집니다. 이처럼 트랜스포머와 같은 언어 모델이 단어의 순서와 위치 관계를 이해하도록 돕는 기술이 바로 '포지셔널 인코딩(Positional Encoding)'입니다. 초기 트랜스포머는 모든 단어에 절대적인 좌석 번호를 부여하는 방식(Absolute Positional Embedding)을 사용했습니다. 하지만 이 방식은 단어 간의 '상대적 거리'를 명시적으로 알려..