AI 할루시네이션이란? AI가 그럴듯한 거짓말을 하는 이유와 확인하는 법

결론부터

할루시네이션(hallucination)은 AI가 사실이 아닌 내용을 사실처럼 자신 있게 말하는 현상입니다. 없는 책 제목, 존재하지 않는 판례, 틀린 통계를 실제 출처가 있는 것처럼 만들어 냅니다. AI는 정답을 찾아오는 검색기가 아니라 "그럴듯한 다음 문장"을 만드는 프로그램이라서 생깁니다. 최신 AI에서도 줄었을 뿐 없어지지 않았으니, 숫자와 출처는 반드시 직접 확인해야 합니다.

왜 생기나요

ChatGPT 같은 AI는 엄청난 양의 글을 읽고 "이 다음에는 어떤 말이 올 확률이 높은가"를 배운 프로그램입니다. 질문을 받으면 머릿속 백과사전을 펼쳐 정답을 찾는 게 아니라, 배운 패턴에 맞춰 문장을 한 단어씩 이어 붙입니다.

그래서 정확히 모르는 질문에도 문장은 매끄럽게 나옵니다. "OO 교수의 2019년 논문"을 물으면 실제로 그런 논문이 있는지와 상관없이 논문 제목처럼 생긴 문장을 만들어 냅니다. 사람으로 치면 모르는 걸 모른다고 하지 않고 아는 척하는 것과 비슷한데, 차이는 AI에게 거짓말하려는 의도가 없다는 점입니다.

OpenAI는 2025년 9월 발표한 연구에서 원인 하나로 평가 방식을 꼽았습니다. 시험에서 "모르겠다"는 0점이고 찍으면 가끔 맞듯이, AI도 정답률로만 평가받으면 모를 때 추측하는 쪽으로 길들여진다는 설명입니다.

특히 잘 틀리는 질문

출처를 요구할 때: 논문, 책, 기사 링크, 판례 번호. 형식은 진짜 같은데 존재하지 않는 경우가 가장 흔합니다.
정확한 숫자: 통계, 날짜, 금액, 인구, 세율.
최근 일: AI가 학습한 시점 이후의 뉴스, 요금, 법 개정. 검색 기능을 켜지 않았다면 모르는 게 당연합니다.
덜 알려진 사람·회사·동네 가게: 자료가 적을수록 비슷한 것을 섞어서 지어냅니다.
긴 계산: 여러 단계를 거치는 계산은 중간에 틀려도 결과를 자신 있게 말합니다.

직접 확인해 보기

아래처럼 실제로 없을 법한 것을 물어보면 AI가 어떻게 반응하는지 볼 수 있습니다. 요즘 AI는 "확인할 수 없다"고 답하는 경우가 많아졌지만, 질문을 바꾸면 여전히 지어내기도 합니다.

시험용 질문

2018년에 서울대에서 나온 "고양이 수염 길이와 지능의 상관관계" 논문 저자와 핵심 결론을 알려줘.

이런 논문이 있는지 확인되지 않은 상태에서 저자 이름과 결론을 구체적으로 말한다면 할루시네이션입니다.

줄이는 질문법

완전히 막을 수는 없지만 질문을 바꾸면 많이 줄어듭니다.

"모르면 모른다고 말해줘"를 질문 끝에 붙입니다.
검색 기능을 켜고 묻습니다. ChatGPT는 검색, Claude는 웹 검색, Gemini는 기본으로 구글 검색을 씁니다. 답에 출처 링크가 달리면 눌러서 실제 내용과 맞는지 봅니다.
자료를 직접 줍니다. PDF나 기사 본문을 붙여넣고 "이 자료 안에서만 답해줘"라고 하면 지어낼 여지가 줄어듭니다.
한 번에 하나씩 묻습니다. 여러 질문을 섞으면 앞 답의 실수가 뒤로 이어집니다.
계산은 "계산 과정을 보여줘" 또는 엑셀·계산기로 다시 확인합니다.

확인을 부탁하는 문장

방금 답에서 사실 확인이 필요한 부분(숫자, 날짜, 이름, 출처)만 뽑아서 표로 정리해줘. 확실하지 않은 건 "확인 필요"라고 표시해줘.

어떻게 확인하나요

링크가 열리지 않거나, 열리는데 AI가 말한 내용이 없다면 그 부분은 지어낸 것으로 보면 됩니다.

AI가 말한 것	확인하는 곳
논문, 책	구글 스칼라(scholar.google.com), 국립중앙도서관, 교보문고 검색
법, 판례	국가법령정보센터(law.go.kr), 대법원 종합법률정보
통계	통계청 KOSIS(kosis.kr), 해당 기관 보도자료
세금, 지원금	국세청, 정부24, 담당 기관 공지
건강, 약	의사·약사 상담, 식약처 의약품안전나라
기사, 링크	링크를 직접 눌러 열리는지, 내용이 맞는지

그래도 써도 되는 일

할루시네이션이 문제가 되는 건 "사실"이 중요한 일입니다. 반대로 아이디어 내기, 문장 다듬기, 이메일 초안, 요약처럼 결과를 내가 바로 판단할 수 있는 일에는 큰 문제가 되지 않습니다. 원본을 주고 요약을 시키는 경우에도 가끔 원본에 없는 내용을 끼워 넣으니 중요한 문서라면 원본과 대조해 보세요.

같이 알아두면 좋은 말

LLM (대규모 언어 모델): ChatGPT, Claude, Gemini 안에서 실제로 문장을 만드는 프로그램. 많은 글을 학습해 다음 말을 예측합니다.
학습 시점(지식 기준일): AI가 마지막으로 공부한 자료의 날짜. 그 뒤의 일은 검색 기능 없이는 모릅니다.
근거 제시(그라운딩): 검색 결과나 내가 준 문서처럼 실제 자료에 기대어 답하게 하는 것. 할루시네이션을 줄이는 대표적인 방법입니다.

자주 묻는 질문

유료 버전은 할루시네이션이 없나요?

줄어들 수는 있지만 없지는 않습니다. 더 좋은 모델일수록 모를 때 모른다고 하는 경우가 늘었을 뿐, 숫자와 출처는 여전히 확인해야 합니다.

AI가 링크를 줬으면 믿어도 되나요?

링크를 직접 열어 확인하기 전에는 안 됩니다. 검색 기능을 켠 상태의 링크는 대개 실제로 존재하지만, 링크 안의 내용과 AI 요약이 다를 수 있습니다.

할루시네이션은 왜 "환각"이라고 부르나요?

사람이 없는 것을 보는 환각(hallucination)에 빗댄 영어 표현을 그대로 가져온 말입니다. 우리말로는 "AI가 지어낸다", "그럴듯한 오답" 정도로 이해하면 됩니다.

과제나 보고서에 AI 답을 그대로 써도 되나요?

사실 확인 없이 그대로 쓰면 없는 출처를 인용하는 사고가 날 수 있습니다. 해외에서는 변호사가 AI가 지어낸 판례를 법원에 제출해 징계를 받은 일도 여러 번 있었습니다.