목록2025/06/13 (1)

AI Engineer의 '사부작' 공간

LLaMA 성능의 비밀: 왜 FeedForward(피드포워드)는 차원을 늘렸다 줄일까?

LLaMA 성능의 비밀: Up & Down Projection의 원리와 두 가지 효과거대 언어 모델(LLM)의 세계는 마치 수많은 부품이 정교하게 맞물려 돌아가는 복잡한 기계 장치와 같습니다. LLaMA와 같은 최신 모델의 놀라운 성능을 제대로 이해하려면 그 내부 부품, 특히 피드포워드 네트워크(Feed-Forward Network, FFN)의 작동 방식을 깊이 들여다볼 필요가 있습니다. 오리지널 트랜스포머 아키텍처의 FFN은 LLaMA에서 한 단계 더 발전했는데, 그 핵심적인 변화 중 하나가 바로 Up & Down Projection 기법입니다. "정보의 차원을 늘렸다가 다시 줄인다"는 단순해 보이는 이 과정에는 사실 모델의 성능을 극대화하는 두 가지 강력한 비밀이 숨어있습니다. 이번 글에서는 Up &..
Theory/LLM Architectures 2025. 6. 13. 08:25
이전 Prev 1 Next 다음