요즘 AI와 대화해보셨나요? 정말 똑똑하지만 가끔은 당황스럽습니다
ChatGPT나 Claude 같은 AI 챗봇과 대화하다 보면 정말 놀라는 순간들이 있습니다. 복잡한 질문에도 척척 답하고, 때로는 인간보다 더 정확한 정보를 제공하기도 합니다. 하지만 가끔은 “어? 이게 맞나?” 싶은 답변을 자신만만하게 내놓을 때가 있습니다.
바로 이런 현상을 할루시네이션(Hallucination) 이라고 합니다. AI가 마치 환각을 보듯이 사실이 아닌 정보를 마치 사실인 것처럼 말하는 것입니다.
이 글은 OpenAI에서 최근 발표한 연구 자료를 바탕으로 작성했습니다. OpenAI의 연구진들이 직접 밝힌 할루시네이션의 원인과 해결 방향을 여러분이 이해하기 쉽게 정리해보겠습니다. AI를 더 똑똑하게 활용하고 싶으시다면, 도움이 될 수 있을 것입니다.
할루시네이션이 뭔가요? 정말 심각한 문제인가요?
Q1. 할루시네이션이 뭔가요?
언어 모델의 할루시네이션은 AI가 확신을 가지고 사실이 아닌 답변을 생성하는 현상을 의미합니다. 단순히 틀린 답을 하는 것이 아니라, 그럴듯하면서도 완전히 거짓된 정보를 마치 확실한 사실인 것처럼 제시하는 것입니다.
예를 들어, 특정 학자의 박사 학위 논문 제목이나 생일을 물어봤을 때 AI가 여러 개의 완전히 틀린 답변을 자신 있게 말하는 경우가 있습니다. “아담 타우만 칼라이 교수의 생일은 1985년 3월 15일입니다”라고 단정적으로 말하는데, 실제로는 전혀 다른 날이거나 아예 공개되지 않은 정보일 수 있습니다.
Q2. 모든 AI가 할루시네이션을 가지나요?
네, 모든 대규모 언어 모델(LLM)에서 발생하는 근본적인 현상입니다. GPT-4, Claude, Gemini 등 어떤 모델을 사용하든 할루시네이션은 완전히 사라지지 않습니다. 다만 최신 모델일수록 그 빈도가 줄어들고 있습니다.
흥미로운 점은 GPT-5 같은 차세대 모델에서는 추론 시 할루시네이션 현상이 상당히 줄어들었지만, 여전히 완전히 사라지지는 않았다는 것입니다. 이는 할루시네이션이 단순한 기술적 오류가 아니라, AI가 학습하는 방식 자체에서 비롯되는 더 근본적인 문제라는 것을 보여줍니다.
AI는 왜 할루시네이션이 생기는 것일까요?
Q3. AI가 학습하는 방식이 문제인가요?
정말 중요한 부분입니다. 현재 대부분의 AI는 “다음 단어 예측” 이라는 방식으로 학습합니다. 엄청나게 많은 텍스트를 읽으면서 “이 다음에 올 단어는 무엇일까?”를 계속 맞히는 연습을 하는 것입니다.
문제는 이 과정에서 AI가 각 정보에 대해 “참/거짓” 딱지가 붙은 데이터를 보는 것이 아니라는 점입니다. 그냥 인터넷에 있는 온갖 글들을 보면서 “이런 패턴으로 글을 써야겠구나” 하고 학습하는 것입니다.
이는 마치 우리가 외국어를 배울 때 문법책 없이 그냥 현지 사람들의 대화를 듣고 따라 하는 것과 비슷합니다. 유창하게 말할 수는 있지만, 가끔 틀린 표현을 자연스럽게 사용할 수 있는 것입니다.
Q4. 그럼 왜 어떤 질문에는 정확하고 어떤 질문에는 틀릴까요?
이것은 정말 흥미로운 부분입니다. AI는 일관된 패턴이 있는 것들은 정말 잘합니다. 예를 들어 철자법이나 괄호 사용법 같은 것들은 모델이 커질수록 거의 완벽해집니다. 왜냐하면 이런 것들은 명확한 규칙이 있기 때문입니다.
하지만 “임의의 낮은 빈도 사실” 들은 완전히 다릅니다. 예를 들어 유명하지 않은 사람의 생일이나 특정 회사의 설립 연도 같은 정보들은 패턴으로 유추할 수 없습니다. 이런 정보가 훈련 데이터에 정확히 한 번만 나타나는 싱글턴 비율이 높을수록 할루시네이션 가능성도 높아집니다.
실제로 생일 정보의 20%가 훈련 데이터에 한 번만 나타나면, AI는 최소한 그 20%에 대해서는 할루시네이션을 일으킬 가능성이 높습니다.
할루시네이션을 줄일 수 있는 방법은 없을까요?
Q5. 더 많은 학습을 시키면 해결되나요?
아쉽게도 그렇게 간단하지 않습니다. 오히려 현재의 평가 방식 자체가 문제를 악화시키고 있습니다. 대부분의 AI 성능 평가는 단순히 정확도만 측정하기 때문입니다.
이것이 왜 문제인지 설명해보겠습니다. 객관식 시험을 생각해보십시오. 답을 모를 때 빈칸으로 남겨두면 0점이지만, 찍어서 운 좋게 맞으면 점수를 받습니다. AI도 마찬가지입니다. “모르겠습니다”라고 솔직하게 말하는 신중한 AI보다 무작정 추측하는 AI가 점수판에서는 더 높은 점수를 받게 됩니다.
Q6. 그럼 어떻게 평가 방식을 바꿔야 하나요?
OpenAI 연구진이 제시한 해결책은 정말 현실적입니다:
자신 있는 오류에 더 큰 페널티를 부여하는 것입니다. 즉, 틀렸으면서도 확신에 찬 답변에는 더 많은 감점을, 불확실성을 적절히 표현하는 답변에는 부분 점수를 주자는 것입니다.
예를 들어:
- “확실하지 않지만, 아마도 A일 것 같습니다” → 부분 점수
- “답은 확실히 B입니다!” (하지만 틀림) → 큰 감점
- “죄송하지만 정확한 정보를 모르겠습니다” → 감점 없음
이는 일부 표준화된 시험에서 오답에 감점을 주거나 빈칸에 부분 점수를 주는 것과 비슷한 개념입니다.
Q7. 현재 인기 있는 AI 평가들은 어떤가요?
솔직하게 말씀드리면, 대부분의 주요 AI 평가들이 아직 이런 방식을 채택하지 않고 있습니다. MMLU-Pro, GPQA 같은 인기 있는 평가들은 여전히 “모르겠습니다”라는 답변에 거의 점수를 주지 않습니다.
심지어 WildBench 같은 평가에서는 “모르겠습니다”가 잘못된 정보가 포함된 답변보다도 낮은 점수를 받을 수 있습니다. 이는 AI 개발자들이 신중한 모델보다는 추측하는 모델을 만들도록 유도하고 있습니다.
할루시네이션, 결국 해결 가능한 문제일까요?
Q8. 완전히 없앨 수는 없나요?
환각은 완전히 피할 수 없지만, 크게 줄일 수는 있습니다. 중요한 것은 할루시네이션이 AI의 근본적인 결함이 아니라, 현재 학습 방식에서 자연스럽게 발생하는 통계적 오류라는 점입니다.
마치 사람도 모든 것을 다 알 수는 없지만, 모를 때 “모르겠습니다”고 말할 수 있는 것처럼, AI도 불확실할 때 답변을 보류할 수 있습니다. 실제로 작은 모델이 자신의 한계를 아는 것이 더 쉬울 수도 있다고 합니다.
Q9. 앞으로는 어떻게 변할까요?
연구진들이 제시한 방향은 정말 희망적입니다. 평가 방식의 인센티브를 재조정하여 불확실성을 적절히 표현하는 것을 보상하도록 바꾸면, 할루시네이션을 억제하는 장벽이 제거될 수 있습니다.
이는 더 미묘하고 실용적인 능력을 가진 AI, 즉 “겸손한 AI” 에 대한 연구의 문을 열 수 있습니다. OpenAI의 핵심 가치 중 하나인 겸손(humility) 처럼, 불확실성을 인정하거나 명확화를 요청하는 것이 잘못된 정보를 자신 있게 제공하는 것보다 훨씬 나은 접근입니다.
이 모든 것을 통해 우리가 얻을 수 있는 인사이트
지금까지 AI의 할루시네이션에 대해 깊이 들여다봤는데, 이 내용에서 저는 몇가지 인사이트들을 얻을 수 있습니다.
첫 번째로는 결과에 대해서 항상 팩트체크가 필요하다는 것입니다. AI가 확신에 찬 어조로 답변한다고 해서 무조건 맞는 것은 아니라는 것을 이해하게 되면, 중요한 정보는 다른 신뢰할 만한 소스로 교차 확인하는 습관을 기를 수 있습니다. 특히 낮은 빈도의 사실이나 최신 정보일수록 더욱 신중하게 접근해야 합니다. 여러 AI를 교차로 활용해서 팩트체크를 하는 방식처럼 말입니다.
두 번째는 평가와 측정의 중요성입니다. 우리가 무엇을 측정하고 어떻게 평가하느냐가 결과를 크게 좌우한다는 것을 보여줍니다. 이는 AI 개발뿐만 아니라 우리 일상생활이나 업무에서도 적용할 수 있는 중요한 원칙입니다. 단순히 “정답률”만 보는 것이 아니라, “신중함”이나 “불확실성에 대한 인정” 같은 것들도 함께 평가해야 한다는 것입니다.
마지막으로, 무조건 많은 데이터와 학습량이 중요한 것은 아니라는 것입니다 더 큰 모델, 더 많은 데이터가 항상 해답은 아니라는 점입니다. 때로는 평가 방식을 바꾸고, 인센티브 구조를 조정하는 것이 더 근본적인 해결책이 될 수 있습니다.
앞으로 AI를 활용할 때 이런 특성들을 이해하고 있다면, 더욱 현명하고 효과적으로 AI와 협업할 수 있을 것입니다. AI의 한계를 인정하면서도 그 강점을 최대한 활용하는, 그런 균형 잡힌 접근이 정말 중요하다는 것입니다.