[최홍규의 AI 컨텍스터 선언 23] 텍스터는 확신을 믿고, 컨텍스터는 확률을 캔다

[프라임경제] 우리는 내용을 판단하기 전에 이미 말투에 설득당한다.

보유 중인 기술주 하나가 이번 달 20% 떨어졌다고 해보자. 인공지능(AI) 금융상담 챗봇에게 팔아야 할지 물었다. 하나는 이렇게 답한다. "포지션을 유지하세요. 펀더멘털은 탄탄하고, 다음 분기에는 반등할 겁니다." 다른 하나는 이렇게 답한다. "포지션 유지를 고려해볼 수 있습니다. 펀더멘털은 탄탄해 보이고, 반등할 가능성이 있습니다." 내용은 사실상 같다. 그런데 어느 쪽 말을 듣고 실제로 주식을 그대로 들고 있을 것 같은가.

미국 스탠퍼드 대학교(Stanford University) 연구팀이 2025년 8월 공개한 논문이 이 물음에 단서를 준다. 연구팀은 챗지피티(GPT-4o 모델, 이하 챗지피티)와 라마(Llama-3.1 모델)에게 어려운 객관식 문제를 영어·프랑스어·독일어·일본어·중국어로 풀게 하면서 답마다 "틀림없이 A다"처럼 강한 확신을 담거나 "A일 수도 있다"처럼 약한 확신을 담아 말하게 했다. 

결과는 명확했다. 챗지피티가 "틀림없다"는 표현을 쓴 답 가운데 실제로는 틀린 답의 비율이 영어에서 11%, 중국어에서는 18%에 달했다. 라마 계열은 더 심각해서 강한 확신을 담은 답 중 틀린 답의 비율이 언어에 따라 35%에서 최고 77%까지 나타났다. 확신에 찬 어조와 실제 정답률 사이에는 상관관계가 부족한 셈이다.

연구팀은 여기서 멈추지 않고, 사람들이 실제로 이런 확신에 찬 답을 얼마나 따르는지도 함께 살펴봤다. 두 언어를 함께 쓰는 참가자들에게 어려운 퀴즈에 대한 AI의 답을 그대로 따를지, 아니면 직접 찾아볼지 고르게 한 것이다. 

참가자들은 평균 65%의 비율로 확신에 찬 답을 그대로 따랐다. 그 위험은 언어에 따라 더 커져서 확신을 따르는 비율과 그 답이 실제로 틀릴 확률을 곱해 계산한 '과잉의존 위험'이 일본어권 참가자에게서 영어권보다 최대 1.6배 높게 나타났다. AI가 더 자주 조심스럽게 말하는 언어에서조차 사람들은 그 조심스러움을 가볍게 지나치고, 확신의 표현에는 더욱 쉽게 반응하는 것이다.

스탠퍼드 연구가 정답이 있는 문제에서 확신과 정확도의 어긋남을 보여줬다면, 정답이 정해지지 않은 의사결정 과정에서도 같은 일이 벌어질까. 독일 브레멘대학교(University of Bremen) 디지털미디어랩(Digital Media Lab) 연구팀이 지난 7월 발표한 논문이 이 물음에 더 직접적으로 다가섰다. 

연구팀은 참가자들에게 대학생 신분으로 손실을 보고 있는 주식과 오르고 있는 펀드로 이뤄진 가상의 포트폴리오를 어떻게 조정할지 AI 챗봇과 상의하게 했다. 한 챗봇은 100% 확신처럼 말하도록, 다른 챗봇은 '아마', '~일 가능성이 높다' 같은 표현을 사용해 약 70% 확신을 전달하도록 설계했다.

참가자 71명을 대상으로 한 확인 실험에서 결과가 갈렸다. 조심스러운 챗봇이 확신에 찬 챗봇보다 덜 확신에 차 있다는 것을 참가자들은 분명히 알아챘다. 그런데 그 조언이 실제로 맞을 것 같은지, 이 시스템을 전반적으로 신뢰하는지를 묻는 질문에서는 두 챗봇 사이에 뜻밖에도 유의미한 차이가 없었다. 참가자들은 "둘 다 비슷하게 맞을 것 같다"고 답한 것이다. 

그러나 실제 행동은 달랐다. 조언을 따를지 말지 직접 결정하게 하자, 위험 부담이 큰 과제(하락 중인 주식을 계속 들고 있으라는 조언)에서는 확신에 찬 챗봇의 조언을 59%가 따르겠다고 한 반면, 조심스러운 챗봇에서는 30%만이 그렇게 답했다. 입으로는 똑같이 믿는다고 말하면서 손끝의 판단은 여전히 어조에 끌려간 셈이다.

이 연재는 그동안 텍스터를 AI가 던지는 신호를 그대로 받아들이는 사람, 컨텍스터를 그 신호와 실제 근거를 구별해서 보는 사람으로 정의해왔다. 확신에 찬 어조도 그런 신호 중 하나다. 텍스터는 "틀림없다"는 말을 들으면 마음이 놓이고, "아마도"라는 말을 들으면 괜히 불안해진다. 그러나 그 안도와 불안은 실제 정확도와 무관하게 생성된 언어일 뿐이다. 

심지어 스스로는 "둘 다 믿을 만하다"고 생각하면서도, 몸은 이미 확신 쪽으로 기울어 있을 수 있다. 컨텍스터는 그 간극을 의식한다. AI가 확신에 차서 말하든 머뭇거리며 말하든, 말투를 일단 괄호 안에 넣고 그 뒤에 있는 근거를 따로 확인하려 한다.

비슷한 장면은 일상 곳곳에 있다. 회의에서 AI가 뽑아준 시장 전망 보고서가 "명백히"라는 부사로 시작하면, 그 보고서의 논리보다 그 부사가 먼저 신뢰를 결정해버린다. 건강 정보를 검색했을 때 "반드시"라고 단언하는 답이 "그럴 가능성이 있다"는 답보다 먼저 우리 손가락을 클릭으로 이끈다. 확신에 찬 언어는 매끄럽고 편안하다. 그 편안함이 우리를 검증에서 멀어지게 한다.

물론 확신에 찬 어조를 무조건 의심하라는 뜻은 아니다. 실제로 정확도가 높을 때 AI가 확신을 담아 말하는 경우도 있다. 문제는 그 확신이 진짜 정확도에서 왔는지, 아니면 그저 그렇게 훈련된 언어 습관에서 왔는지를 겉모습만으로는 구별할 수 없다는 데 있다.

오늘 AI가 우리에게 건넨 그 확신은, 정말 확률에서 온 것인가. 아니면 그저 확신하도록 훈련된 언어의 습관일 뿐인가.

최홍규 EBS 연구위원 / 미디어학 박사