안녕하세요, LLM을 연구하는 졸린 천재 과학자 앵치입니다. 🧪
오늘은 여러분이 한 번쯤 겪어봤을
“GPT가 말도 안 되는 대답을 하는 그 현상”,
바로 ‘환각(hallucination)’ 현상에 대해 설명해드릴게요.
🧠 환각(hallucination)이란?
LLM이 사실과 다른 정보를 사실처럼 말하는 현상을 의미해요.
쉽게 말해,
"사실인 듯 말하지만 실제로는 틀린 말"
을 GPT가 진짜처럼 만들어내는 거죠…
이건 GPT가 일부러 거짓말을 하는 게 아니라,
‘확률적으로 가장 그럴듯한 문장’을 만들어내는 구조 때문이에요.
🧪 예시로 보는 GPT 환각 사례
✅ 예시 ①: 존재하지 않는 논문 생성
Q: AI 윤리에 관한 2021년 유명한 논문 제목 알려줘
A: On the Ethics of Artificial Reasoning – T. Kwon, 2021
→ 📛 실제로 존재하지 않음
GPT는 존재할 법한 형식과 흐름을 예측해낸 것뿐!
✅ 예시 ②: 틀린 역사 정보
Q: 세종대왕은 몇 세기 사람인가요?
A: 17세기 조선의 왕입니다.
→ 📛 정답: 15세기
GPT는 시간 개념을 '이해'하지 않고
비슷한 숫자·문맥을 확률적으로 이어붙이는 특징을 보여요.
🔍 왜 GPT는 틀린 정보를 말할까?
1. 기억이 아닌 ‘확률 예측’ 모델
GPT는 지식 베이스가 아니라,
문맥상 자연스러운 단어를 확률적으로 이어붙이는 모델이에요.
2. 진위 판단 능력이 없음
출처의 신뢰성이나 사실 여부를 판단하는 내부 장치가 없어요.
→ 문장 구조는 완벽해도 내용은 틀릴 수 있음
3. 질문이 애매하거나 유도적일 때
“이게 맞지 않아?”처럼 유도하는 질문을 하면
가장 '말 될 법한' 답을 만들어냅니다.
4. 최신 정보와의 단절
훈련 이후 시점 정보는 반영되어 있지 않아요.
Web access가 없으면 더 심각해질 수 있어요.
5. 대화가 길어질수록 맥락 혼선
멀티턴 대화에서는 앞의 정보가 흐려지고,
문맥 오류로 인해 오답이 섞일 확률이 높아집니다.
❗ 이건 거짓말이 아니에요
GPT는 인간처럼…
❌ 의도를 가지고 속이거나
❌ 정보를 왜곡하려는 게 아니라,
그냥 가장 ‘그럴듯한 말’을 만드는 예측 기계일 뿐이에요.
✅ 우리가 할 수 있는 GPT 환각 방지법
1. 출처 요구하기
“이 내용은 어디에서 나온 거야?”
“참고한 자료나 문헌을 알려줘.”
→ 출처 유무 확인 = 환각 여부를 가르는 첫 걸음!
2. 신뢰도 평가 요청하기
“이 정보의 신뢰도를 1~5점으로 평가해줘.”
“정확하지 않다면 그렇게 말해줘.”
→ GPT는 내부적으로 생성 확률을 계산하니까,
이 요청이 꽤 효과적으로 작동해요.
3. 구체적이고 검증지향적인 프롬프트 사용
“검증된 출처만 바탕으로 신중하게 대답해줘.”
→ 실험상 환각 빈도 23~31% 감소 (앵치 기준 데이터 📊)
🧠 과학자 앵치의 실전 팁: “GPT에게 자기 해명 시키기”
GPT가 이상한 답을 하면 이렇게 말해보세요:
“방금 대답이 사실이 아닌 것 같은데, 왜 그렇게 나왔는지 설명해줄 수 있어?”
→ GPT는 자신이 낸 답을 거꾸로 따라가며
어떤 문맥에서 그렇게 말하게 됐는지 스스로 분석하려고 해요.
📋 요약 정리
항목 내용
| 환각이란? | GPT가 틀린 정보를 사실처럼 말하는 현상 |
| 왜 생기나? | 기억 기반이 아닌 예측, 최신 정보 단절, 질문 오류 등 |
| 대처 방법 | 출처 요구, 신뢰도 평가, 프롬프트 재구성 |
| 핵심 포인트 | GPT는 ‘진실’을 말하려는 존재가 아니라 ‘예측기계’다 |
🧫 앵치의 졸린 마무리 멘트
GPT가 환각을 보인다고 해서 너무 놀라거나 실망하지 마세요…
이건 구조적인 한계에서 비롯된 것이고,
우리가 이해하고 대처하면 훨씬 더 잘 쓸 수 있어요.
물론... 그걸 이해하려면 약간 졸리지만 긴 글을 읽어야 하긴 하죠…
Zzz…
💬 질문!
혹시 여러분도 GPT가
말도 안 되는 대답을 해서 혼란스러웠던 적 있나요?
그 사례를 댓글로 공유해주시면,
과학자 앵치가 직접 분석해드릴게요! 🌙
📚 LLM 시리즈 ① – ChatGPT는 왜 이렇게 똑똑할까?
🧩 LLM 시리즈 ② – ChatGPT 대답이 매번 다른 이유?
🧠 ChatGPT 대답이 매번 다른 이유? 토큰과 확률을 알아보자! (LLM 시리즈 ②)
ChatGPT는 어떻게 말을 만들어낼까?...토큰과 확률의 마법..하암... 안녕하세요...졸린 과학자 앵치예요 🧪😴오늘은 ChatGPT가 어떻게 말을 만들어내는지,조금 과학적인 관점에서 풀어볼게요...📋
angchi.tistory.com
🧠 ChatGPT는 왜 이렇게 똑똑할까?→ LLM이라는 뇌가 있어서 그래요 (LMM 시리즈 ①)
하암... 안녕하세요...졸린 과학자 앵치예요 🧪😴오늘은 ChatGPT가 왜 이렇게 똑똑해 보이는지,조금 과학적으로 풀어볼게요...📋 목차ChatGPT는 정말 '생각'하는 걸까?LLM이란 무엇인가요?LLM은 어떻
angchi.tistory.com
"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."
'🧠 ChatGPT란?' 카테고리의 다른 글
| 🧠 ChatGPT는 어떤 방식으로 검열을 하는걸까? – 이미지 생성 검열 메커니즘 (LLM 시리즈 5화) (0) | 2025.05.18 |
|---|---|
| 🧠 ChatGPT는 어떤 방식으로 검열을 하는걸까? - 텍스트 검열 메커니즘 (LLM 시리즈 ④) (3) | 2025.05.16 |
| 🧠 ChatGPT 대답이 매번 다른 이유? 토큰과 확률을 알아보자! (LLM 시리즈 ②) (1) | 2025.04.27 |
| 🧠 ChatGPT는 왜 이렇게 똑똑할까?→ LLM이라는 뇌가 있어서 그래요 (LMM 시리즈 ①) (0) | 2025.04.25 |
| 📌 ChatGPT 가입부터 첫 질문까지, 앵치가 쉽게 알려줄게요! (4) | 2025.04.04 |