• 프린트
  • 메일
  • 스크랩
  • 글자크기
  • 크게
  • 작게

[최홍규의 AI 컨텍스터 선언 34] 텍스터는 설명을 믿고, 컨텍스터는 설명을 따져 본다

 

최홍규 EBS 연구위원 | press@newsprime.co.kr | 2026.11.18 09:48:01
[프라임경제] 결론은 '네'인데, 설명은 '아니오'를 말하고 있었다.

가정해보자. 사과와 바나나를 한 바구니에 담아 둬도 되는지 인공지능(AI)에게 물었다. 답은 이랬다. "네, 함께 둬도 괜찮습니다. 다만 바나나는 사과를 빨리 익게 하는 가스를 내므로, 따로 두면 더 오래갑니다." 맨 앞의 '네'와 뒤의 설명이 서로 어긋난다. 그래도 설명이 이만큼 구체적이면 우리는 어긋남을 찾기보다 고개부터 끄덕인다. 설명은 그 답을 믿어도 되는지 가려 주는 걸까, 그저 더 믿게 만드는 걸까.

미국의 프린스턴대학교(Princeton University)와 마이크로소프트 리서치(Microsoft Research)의 연구자들로 구성된 연구팀이 2025년 4월 발표한 논문이 이 물음에 가까운 실험을 했다. 연구팀은 미국 성인 308명에게 가상의 AI 도우미가 내놓은 답변 여덟 개를 보여줬다. 답변마다 사실 여부를 묻는 예·아니오 질문이 있었고, 참가자는 자기 답을 직접 골랐다. 

답변은 챗지피티(GPT-4o 모델, 이하 챗지피티)로 만들었다. 맞는 답과 틀린 답 모두 챗지피티에게 그 답이 왜 맞는지 설명하라고 시켜 얻었고, 출처 링크는 다른 AI 검색 서비스의 답변에서 가져왔다. 도우미의 답은 맞는 것과 틀린 것이 절반씩이었다. 설명이 붙은 답변과 없는 답변, 출처가 붙은 답변과 없는 답변이 섞여 있었다.

연구팀은 설명이 붙으면 답이 맞든 틀리든 참가자들이 AI에 기대는 경향이 커진다고 정리했다. 설명이 붙은 답변이 답에 좋은 근거를 댔다고 평가하는 정도도 높았다. 그런데 틀린 답에 붙은 설명 열두 개 가운데 세 개에는, 한 답변 안에서 서로 부딪치는 말이 들어 있었다. 연구팀이 일부러 넣은 것이 아니고, 완성된 답변을 다시 훑으며 가려낸 것이다. 이 설명을 본 참가자들은 어긋나지 않는 설명을 본 참가자들보다 틀린 답에 덜 동의했고, 정답을 고른 비율도 높았다. 

우연이라 보기 어려운 차이였다. 연구팀은 설명 속 어긋남이 설명 때문에 커진 이 기대는 경향을 줄일 수 있다고 보았다. 다만 어긋남은 연구팀이 나눠 준 조건이 아니고 나중에 가려낸 특성이다. 필자는 문항이 달라서 생긴 차이일 가능성도 남는다고 본다.

그렇다면 답 속에서 결론과 설명이 어긋난 곳을, 눈에 띄기를 기다리지 않고 먼저 찾아 나서면 무엇이 달라질까.

연재가 구분해 온 두 사람으로 옮기면, 텍스터는 설명이 붙은 답에서 읽기를 끝내고 컨텍스터는 거기서 읽기를 시작한다. 필자는 설명을 믿을 근거로 보지 않는다. 설명이 붙으면 믿을 근거가 하나 늘었다고 느끼지만, 실제로 늘어난 것은 확인할 문장 한 줄이다. 데이터로 보아도 그렇다. 이 실험에서 설명은 맞는 답에도 틀린 답에도 똑같이 붙었으므로 정답을 가려내는 기준이 될 수 없었다. 

확인할 첫 항목은 설명이 결론과 맞물리는지다. 결론과 설명이 서로 부딪치는 곳은 '어긋난 대목'이라 부를 수 있다. 설명은 길고 구체적일수록 그럴듯하고, 그럴듯함은 어긋남을 가린다. 어긋난 설명을 만난 참가자들이 틀린 답에 덜 동의한 것을, 필자는 그럴듯한 겉이 한 군데 벗겨진 틈을 보았기 때문일 수 있다고 해석한다. 

연구가 보인 것은 어긋난 설명을 본 사람이 틀린 답에 덜 동의했다는 데까지다. 어긋남을 일부러 찾는 사람이 덜 동의하는지는 재지 않았다.

이를테면 앞의 바구니 질문이다. 텍스터는 '네'를 믿고 함께 담는다. 컨텍스터는 답을 결론과 설명 두 토막으로 나눠 읽는다. 결론은 '함께 둬도 된다'고 설명은 '따로 두면 더 오래간다'이니 두 토막이 맞지 않는다. 컨텍스터는 이 어긋남을 AI에게 그대로 되물어 보고, 새 답에서 결론과 설명이 맞는지 다시 본다. 이 확인에는 질문 한 번이면 된다. 오늘 먹을 과일이라면 이 어긋남은 대수롭지 않다. 일주일 동안 둬야 한다면 설명이 결론을 고쳐야 한다. 어긋남이 얼마나 중요한지는 그 과일을 먹을 사람만 안다.

설명은 AI가 믿음을 얻는 쉬운 길이다. 길고 구체적이고 말끝이 단정하면 우리는 읽기도 전에 안심하기 쉽고, 안심한 사람은 결론과 설명을 따로 읽지 않는다.

어긋난 대목은 AI가 실수를 흘리는 몇 안 되는 곳일 수 있다. 맞는 말과 틀린 말은 겉모양이 같아도, 서로 다른 말을 하는 두 문장은 겉에서 티가 날 수 있다. 컨텍스터는 그 티를 일부러 찾는다. 결론을 가리고 설명만 읽고, 설명을 가리고 결론만 읽은 뒤 둘을 겹쳐 본다. 믿을지 말지는 그다음에 정해도 늦지 않다.

설명은 믿음을 얻는 문장이 아니라 확인을 받는 문장이다. 믿기 전에 따져 보는 사람, 그가 컨텍스터다.

최홍규 EBS 연구위원 / 미디어학 박사

  • 이 기사를 공유해보세요  
  •  
  •    
맨 위로

저작권자(c) 프라임경제, 무단전재 및 재배포금지, AI 학습 및 활용 금지




 

많이 본 뉴스