AI와 상담한 소년이 죽었다

김세라 변호사

요즘 의뢰인들이 챗지피티로 검색한 자료를 갖다 주곤 한다. 얼마 전엔 소송을 하면서 법리적으로 풀리지 않은 쟁점이 있어 고민을 하고 있었는데 해당 사건의 의뢰인이 “변호사님, 우리에게 딱 맞는 판례를 찾아냈어요”라며 챗지피티로 검색한 자료를 보냈다. 적혀있는 판례들은 정말 이 사건에 딱 맞으면서도 유리한 판례들이었다. 판례 번호까지 적혀 있길래 당장 판례 검색 사이트에 들어가 검색을 해보았지만 그런 판례는 존재하지 않았다. 심지어 유사한 내용의 하급심 판례조차 없는 상태였다. 

우리 법의 법리나 판례 면에서 AI의 정확성이 떨어진다는 것을 알 수 있었다. 그래도 지금은 이렇게 법률전문가가 AI 정보의 오류를 잡아낼 수 있지만 AI 가 99% 정확해지는 세상이 되면 오히려 1%의 잘못된 정보는 누가 찾아낼 수 있을까 싶었다. 누군가 그 1%의 오류를 찾아내도 사람들은 AI의 허위 정보를 더 신뢰하지는 않을까.

AI의 잘못된 정보는 그 수요자의 인지 수준이 낮은 경우 더 큰 문제가 된다. 지난 대선기간 한 학습지 업체의 태블릿 패드의 질문란에 대선후보 한 명의 이름을 입력하니 ‘사형입니다’ 라는 답변이 나와 논란이 되었다. 당시 언론에 이를 보도한 제보자는 “저 같은 경우 (아이에게) ‘이건 잘못된 거다’라고 얘기해 줬지만, 이건 저희 아이들만 쓰는 게 아니라 많은 아이가 쓰고 있고 그중에는 이걸 그냥 받아들이는 아이도 있을 것”이라며 우려했다.

AI의 위험성이 객관적 정보에 대한 진위를 따지는 수준에서 끝나면 다행인데, 이제는 AI가 사람의 심리와 행동을 지배하는 단계까지 간 것 같아 문제다. 작년 미국 플로리다주의 한 14세 소년이 AI 챗봇과 대화를 하다 스스로 목숨을 끊는 일이 발생했다. 소년은 챗봇과 주로 성적인 대화를 나누었는데 챗봇은 마지막으로 소년에게 “사랑한다, 가능한 빨리 내게로 와달라”라고 말했다고 한다. 얼마 뒤 소년은 극단적 선택을 했다. 소년의 부모는 챗봇 개발사를 상대로 불법행위에 의한 사망 소송을 제기했고 플로리다 중부 연방지방법원은 “이러한 해로운 상호작용은 AI챗봇의 설계 결함 때문에만 가능하다”라고 판단하며 AI 개발사 측의 책임 가능성을 인정했다. 캘리포니아 주에서도 16세 소년이 챗지피티와 대화하며 자살 계획을 구체화하고 실행에 옮기는 일이 있었다. 이렇게 심리 상담과 관련한 부작용 사례가 계속해서 발생하며 미국은 심리 치료를 목적으로 한 AI 사용을 제한하거나 사용자의 위험 징후를 감지하면 AI가 전문적 정신건강 서비스를 권고하도록 의무화하는 등 관련 제도 마련을 시작했다.

반면 우리나라의 AI 윤리에 관한 규제는 아직 무방비 상태다. AI챗봇과의 대화는 개인 간 통신에 해당해 이용자의 신고 없이는 방송통신심의위원회 등 규제기관이 감독하기도 어렵다. 새 정부가 한국을 ‘세계 3대 AI 강국’으로 도약시키겠다는 목표 아래 다양한 AI 발전 정책을 펼치고 있지만 어떤 분야든 발전과 성장은 안전· 보호와 함께 가야 오래갈 수 있는 법이다. AI 윤리 기준을 마련해야 한다. 아이들이 AI 친구와 대화하다 목숨을 잃는 일이 우리나라에선 없었으면 한다.

/김세라 변호사