| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
Tags
- catastrophic forgetting
- Embedding
- langgraph
- extended thinking
- gqa
- MHA
- SK AI SUMMIT 2025
- re-ranking
- attention
- fréchet inception distance
- 트랜스포머
- test-time scaling
- self-attention
- flashattention
- BLEU
- context engineering
- chain-of-thought
- MQA
- PEFT
- transformer
- reinforcement learning from human feedback
- Langchain
- RLHF
- model context protocol
- Multi-Head Attention
- Engineering at Anthropic
- rotary position embedding
- CoT
- 토크나이저
- Positional Encoding
Archives
- Today
- Total
목록truthfulqa (1)
AI Engineer 공간 "사부작 사부작"
LLM의 진실성, 어떻게 체계적으로 검증할까? TruthfulQA와 다양한 평가 방법들
LLM이 진실을 말하고 있을까? TruthfulQA와 LLM 신뢰도 검증 방법론대규모 언어 모델(LLM)이 우리 일상과 업무에 깊숙이 스며들면서, 이 똑똑한 인공지능이 제공하는 정보가 과연 믿을 만한 것인지에 대한 관심이 뜨겁습니다. LLM이 때때로 그럴듯하게 꾸며낸 이야기, 즉 '환각(Hallucination)'을 만들어내는 경우가 있기 때문입니다. 이는 LLM의 신뢰도와 직결되는 문제로, 단순한 정답률 측정만으로는 그 진실성을 파악하기 어렵습니다. 마치 사람의 지식을 평가할 때 단순히 암기력만 보는 것이 아니라, 정보의 출처를 따져보고 논리적인 오류는 없는지 살피는 것과 같습니다. 그렇다면 LLM이 생성하는 정보가 사실에 기반하는지, 아니면 그저 환각에 불과한지를 어떻게 체계적으로 평가할 수 있을까요..
Theory/Evaluation-Benchmarking
2025. 6. 2. 08:18