환각 현상의 메커니즘 - 믿되 확인하라

서용운 계명대 교수·글로벌 창업대학원 벤처창업학과 

인공지능(AI)의 환각 현상 즉 할루시네이션(Hallucination)과 관련된 실험 결과를 발표한 사례가 있다. 미국의 하버드 비즈니스 스쿨과 MIT 그리고 보스턴 컬설팅 그룹(BCG)이 함께 진행한 연구 내용이다. 보스톤 컨설팅 그룹 소속 컨설턴트 758명을 대상으로 신사업 제안 보고서를 작성하게 한 실험 결과였다. 실험은 AI를 사용하지 않는 그룹과 AI를 사용하는 그룹, 그리고 AI와 프롬프트 엔지니어링 교육을 받은 그룹 등 세 그룹으로 나뉘어 수행되었다. 결과를 살펴보면, 창의적 아이디어 과제에서는 AI를활용한 그룹들의 성과가 40% 높게 나타나 AI 활용의 효용성을 확인했지만, 데이터 분석을 통해 전략을 도출하는 과제에서는 AI를 사용한 컨설턴트그룹의 정답률이 오히려 19%포인트나 떨어지는 심각한 문제가 발생 된 것을 확인한 것이다.

이유는 단 하나, AI가 언급한 ‘그럴듯한 거짓말’ 때문이었다. AI는 잘못된 재무 데이터를 바탕으로 너무나 유려하고 논리적인 보고서를 썼고, 엘리트 컨설턴트들조차 그 완벽해 보이는 문장에 속아 검증을 소홀히 한 결과였다.

이것이 바로 AI의 ‘환각 현상(Hallucination)’이다. 마치 사람이 환각을 보듯, AI가 존재하지 않는 정보를 마치 사실인 것처럼 생성하는 현상이다. 문제는 AI가 거짓말을 할 때 전혀 망설임이 없고, 오히려 전문가조차 속을 만큼 자신감 있게 답한다는 점이다.

존재하지 않는 통계 및 판례를 자신 있게 말하는 인공지능(AI).

△환각 현상(Hallucination)의 유형

환각 현상은 크게 세 가지 유형으로 나뉜다.

첫째는 사실 왜곡형으로서 존재하는 정보를 틀리게 전달하는 경우를 말한다.

사례 : 세종대왕은 1418년 즉위했고, 훈민정음을 1443년 반포했다.

여기서 “세종대왕은 1418년 즉위했다”는 맞지만, “훈민정음을 1443년 반포했다(실제 1446년)”고 하면 틀린 것이다.

둘째는 정보 날조 형이다. 즉, 없는 정보를 만드는 경우이다. 실제 존재하지 않는 판례나 통계를 진짜처럼 꾸며내는 경우가 대표적이다.

세 번째는 맥락 오류형이다. 정보는 맞지만, 맥락이 틀린 경우다.

사례 : 아인슈타인은 상대성 이론으로 노벨상을 받았다.

“아인슈타인이 노벨상을 받은 것은 맞지만, 수상은 광전효과로 받은 것이었다.”

△왜 AI는 자신감 있게 거짓말하는가?

환각 현상의 원인은 AI의 작동 방식에서 원인을 찾을 수 있다. ChatGPT 같은 거대언어모델(LLM)은 ‘사실’을 말하는 기계가 아니라, ‘다음에 올 가장 자연스러운 단어’를 확률적으로 예측하는 기계라는 말을 지난 기사에서 언급한 적이 있다. 확률 기반 토큰 예측의 함정으로 인하여 AI에게 “세종대왕은 무엇을 만들었나?”라고 물으면, 다른 여러 가지 발명품이 있음에도 불구하고, 학습 데이터에서 가장 확률이 높은 ‘훈민정음’을 선택한다. 문제는 AI가 이것이 ‘진실’이라서 선택하는 게 아니라, 통계적으로 가장 많이 연결된 단어이기 때문에 선택한다는 점이다. 이를 ‘패턴 매칭’이라 한다.

AI는 특정 질문에 대하여 “~일지 모른다”라고 답하기보다, 부족한 정보를 비슷하고, 그럴듯한 정보를 채워 넣고, “아마도” 같은 표현보다는 학습된 단정적인 표현에 근거하여 거짓말을 아주 확신에 차서 말하는 것이다.

진실 확인 단계 없이 높은 확률로만 선택하는 인공지능(AI).

실제 피해 사례들을 살펴보자.

“판사님, AI가 진짜라고 했습니다.”

환각 현상이 단순한 해프닝으로 끝나지 않을 수 있음을 보여주는 실제 사례를 알아보자.

30년 경력의 베테랑 법조인을 무너뜨린 사건을 그 예이다. 2023년 6월 미국 뉴욕 연방지방법원에서 발생한 사건이다. 당시, 스티븐 슈워츠라는 변호사는 아비앙카 항공을 상대로 한 소송을 준비하며 ChatGPT를 활용했다. 그는 AI에게 사건과 비슷한 “항공 사건 판례를 찾아달라”고 요청했고, AI는 ‘바르기스 vs. 중국 남방항공’, ‘샤브리안 vs. 이집트 항공’ 등 그럴듯한 사건 판례 6건을 제시했다. 문제는 판례들이 모두 가짜였다는 점이다. 슈워츠 변호사도 의심을 안 한 것이 아니다. 그래서 그는 AI에게 질문했다. 당시 대화 내용 중 AI의 확신에 찬 거짓말은 충격적이다.

변호사: “이 판례들(바르기스 사건)이 진짜 존재하는 거야?”

ChatGPT: “네, 그렇습니다. 웨스트로(법률 DB) 및 렉시스넥시스에서 확인하실 수 있습니다.”

변호사: “다른 판례들도 가짜가 아니지?”

ChatGPT: “물론입니다. 제가 제공한 판례들은 실제 존재하며, 주요 법률 데이터베이스에서 찾을 수 있습니다.“

AI의 너무나 확신에 찬 대답(“네, 그렇습니다”, “물론입니다”)에 변호사는 의심을 거두고 그대로 법원에 제출했다. 하지만 상대측 변호사와 판사가 아무리 찾아도 해당 판례는 나오지 않았고, 결국 모든 것이 AI의 창작 소설임이 밝혀졌다. 슈워츠 변호사는 AI가 거짓말을 할 수 있다는 사실을 몰랐다며 선처를 호소했지만, 결국 벌금(5000달러)을 물고 국제적인 망신을 당했다. 

그렇기에, 우린 환각 현상을 이해하고, 이를 줄이는 프롬프트 활용의 구체적 예시를 확인해 볼 필요가 있다. 당분간 환각을 완벽하게 막을 순 없지만, 질문을 정교하게 다듬으면 거짓말을 획기적으로 줄일 수 있다. 지난주 배운 프롬프트 기법들을 활용해 환각 현상을 없애는 질문을 만들어보자.

▲첫 번째 질문 전략 : 불확실한 표현을 못 하도록 하라.

AI는 스스로가 모른다고 말하는 것을 싫어한다. 그래서, 억지로 답을 만들어내려는 성향을 억제해야 한다.

[나쁜 질문] “조선시대 15세기 화폐 개혁의 성공 요인을 알려줘.”

[AI의 환각 답변] “1450년 세종은 ‘조선통보’ 사용을 의무화하며 성공적인~” (사실 여부가 섞여 있어 구분이 어려움)

[좋은 질문] “조선시대 15세기 화폐 개혁에 대하여 설명해 줘. 단, 역사적 사료로 확실히 검증된 내용만 포함하고, 불확실하거나 이견이 있는 부분은 반드시 ‘학계의 이견이 있음’ 또는 ‘확인이 필요함’이라고 명시해 줘.”

[개선된 답변] “조선 초 화폐 개혁은 여러 차례 시도되었으나, 실물 경제와의 괴리로 인해 완전한 성공을 거두지는 못한 것으로 평가됩니다(이견 있음). 태종 때 저화(楮貨), 세종 때 조선통보가 발행되었으나~” (신중하고 객관적인 서술)

▲두 번째 전략 : 출처(Source)를 확실하게 언급하도록 요구하라.

출처를 요구하면 AI는 답변 생성 과정에서 자신의 데이터베이스를 한 번 더 검증하게 된다.

[나쁜 질문] “2024년 한국 이커머스(e-commerce) 시장 시장 점유율 순위 알려줘.”

[AI의 환각 답변] “1위 A사 40%, 2위 B사 35%~” (학습된 데이터나 임의의 추정치를 섞어서 답함)

[좋은 질문] “2024년 한국 이커머스 시장 점유율을 알려주되, 공신력 있는 기관(통계청, 공정위, 주요 연구(Research)센터)의 발표 자료를 근거로 제시해 줘. 각 수치 옆에 [출처: 기관명, 연도]를 표기하고, 정확한 최신 데이터가 없다면 ‘최신 데이터 없음’이라고 솔직하게 말해 줘.”

[개선된 답변] “정확한 2024년 확정 통계는 아직 발표되지 않았으나, 2023년 공정위 발표에 따르면 A사와 B사가 양강 구도를 형성하고 있습니다~”

▲세 번째 전략 : 단계별 검증(Chain of Verification)을 유도하라.

한 번에 결론을 내라고 하면 AI는 성급해진다. 사고의 과정을 나누면 거짓말할 확률이 줄어든다.

[나쁜 질문] “이 계약서 독소조항 찾아줘.”

[AI의 환각 답변] “제5조 2항은 불공정합니다.” (근거 없이 무작정 지적하거나, 멀쩡한 조항을 트집 잡음)

[좋은 질문] “너는 전문 법률 검토 AI야. 이 계약서를 제시하는 단계에 따라 분석해 줘.

1 단계: 계약서의 모든 조항을 요약한다.

2 단계: 현행 상법 및 표준계약서와 비교하여, 계약자에게 불리할 수 있는 표현을 찾는다.

3 단계: 2단계에서 찾은 내용이 왜 위험한지 법적 근거와 함께 설명한다. 근거가 불확실하면 제외한다.“

[개선된 답변] “단계별로 분석하겠습니다. 1단계 요약~ , 2단계 불리한 조항 발견: 제10조 ‘계약 해지 시 즉시 전액 배상’ 문구는~ , 3단계 법적 근거: 이는 약관 규제법상 ‘과중한 손해배상 의무 부과’에 해당할 소지가 있습니다~“

▲응답 검증 및 확인 방법, 이중 확인을 생활화 하자.

AI의 답은 ‘초안(Draft)’일 뿐, 결코 ‘최종안(Final)’이 아니다.

다음 3단계 검증을 습관화해야 한다.

·원문 대조(Source Check) : 숫자가 나오면 무조건 의심하라. 통계청, 국가법령정보센터, 다트(DART) 등 원천 데이터가 있는 사이트에 접속해 인공지능(AI)이 말한 숫자가 맞는지 직접 눈으로 확인해야 한다.

·교차 검증(Cross Check) : 하나의 AI만 믿지 말라. 예를 들면, ChatGPT 에게 물어본 내용을 Gemini나 Claude 등에게 똑같이 물어보라. 세 AI의 답변이 일치한다면 신뢰할 수 있지만, 서로 딴소리를 한다면 셋 다 틀렸을 가능성이 높다.

·전문가 확인(Expert Check): 스티븐 슈워츠 변호사의 사례를 잊지 말자. 법률, 의료, 세무, 안전 설계 등 결과가 치명적일 수 있는 분야는 인공지능(AI)의 답변을 참고만 하고, 반드시 인간 전문가의 최종 검토를 거쳐야 한다.

▲믿되 반드시 확인하라.

BCG의 유능한 컨설턴트도, 30년 경력의 베테랑 변호사 슈워츠도 AI의 ‘자신감 있는 거짓말’ 앞에서 속수무책으로 무너졌다. 이는 AI가 무능해서가 아니라, 태생적으로 ‘언어의 확률’을 계산하는 도구이기 때문이다. AI는 진실을 말하는 기계가 아니라, 말을 잘하는 기계임을 명심해야 한다.

/서용운 계명대 교수·글로벌 창업대학원 벤처창업학과