[최홍규의 AI 컨텍스터 선언 17] 텍스터는 채점하고, 컨텍스터는 감식한다

[프라임경제] 같은 논문 200편을 두고 인공지능(AI) 심사위원 다섯이 나란히 앉았다고 상상해보자. 최상위 학술지에 실릴 논문과 최하위 학술지에 실릴 논문을 가려내는 과제다. 그런데 이 AI들은 하나같이 극단을 피한다. 최고와 최악이라는 판정을 꺼리고, 자꾸 애매한 가운데로 몰린다. 

그림을 채점하게 했을 때도 마찬가지였다. 전문 화가의 그림과 기계가 그린 그림을 나란히 놓았더니, 사람은 단번에 구별했지만 AI는 그러지 못했다. 채점은 숫자를 매기는 일이고, 감식은 그 숫자 뒤에 있는 것을 알아보는 일이다. AI는 전자를 빠르게 따라잡고 있지만, 후자는 여전히 낯설어한다.

이 낯섦은 실제 연구로도 확인된다. 미국 연구팀은 의료·과학 분야의 AI 활용 연구를 주로 다루는 학술지 JMIR AI(Journal of Medical Internet Research AI)에 올해 2월 흥미로운 실험 결과를 발표했다. 오픈소스 AI 다섯 개에게 장기이식 분야 논문 200편을 읽히고, 그 논문이 실제로는 상위권 학술지에 실렸는지 하위권 학술지에 실렸는지를 맞혀보게 한 것이다. 

결과는 초라했다. 가장 성적이 좋은 AI조차 정답률은 35%에 그쳤다. 더 흥미로운 대목은 오답의 패턴이었다. AI들은 하나같이 "최고" 아니면 "최악"이라는 과감한 판정을 피했다. 애매하게 중간쯤 되는 논문이라고 뭉뚱그려 답하는 쪽을 택한 것이다. 저자가 소속된 기관이 명문대인지 아닌지에 따라 점수가 달라지는 편향은 다행히 나타나지 않았다. 그러나 편향이 없다는 것과 안목이 있다는 것은 다른 문제다. 연구팀 역시 지금의 AI로는 사람 심사위원을 대신하기 어렵다고 결론지었다.

이 간극은 어디서 비롯되는 걸까. 자연과학 전반을 폭넓게 다루며 국제적으로 영향력이 큰 학술지로 꼽히는 『어드밴스드 사이언스(Advanced Science)』에 스페인과 오스트리아 연구팀이 참여해 올해 3월 발표한 논문이 그 답에 한 걸음 다가섰다. 연구팀은 전문 화가들과 일반인들에게 추상적인 그림 조각 몇 개를 보여주고, 그것을 힌트 삼아 자유롭게 그림을 완성해보라고 했다. 똑같은 과제를 이미지 생성 AI 모델인 '스테이블 디퓨전(Stable Diffusion)'에도 시켰다. 이렇게 모은 그림 1000장을 사람 채점자 255명과 ChatGPT(GPT-4o 모델, 이하 챗지피티)에게 각각 채점하게 했다. 

사람 채점자들은 어떤 그림이 전문 화가의 것이고 어떤 것이 AI의 것인지 정보를 전혀 듣지 못했는데도, 채점 결과를 보니 전문가·일반인·AI의 순서를 정확히 짚어내고 있었다. 반면 아무런 안내 없이 채점한 챗지피티는 이 순서를 거의 구별하지 못했고, 심지어 AI가 그린 그림에 사람이 그린 그림보다 더 후한 점수를 주기도 했다. 

그런데 여기서 흥미로운 반전이 벌어진다. 연구팀이 챗지피티에게 사람이 미리 채점해둔 그림 몇 장을 "이 정도가 이런 점수를 받는다"는 참고 자료로 보여주자 챗지피티의 채점 결과가 사람의 판단과 훨씬 비슷해졌다. 안목이 없던 AI에게 판단의 기준이 될 맥락을 쥐여주니, 비로소 사람에 가까운 눈을 갖게 된 것이다.

논문 채점이든 그림 채점이든, 결국 확인된 것은 하나다. 채점은 기준표 위에서 숫자를 매기는 일이다. 감식은 그 기준표가 미처 담지 못하는 것, 이를테면 왜 이 그림이 뭉클한지, 왜 이 논문이 최상위 저널에 실릴 만한지를 가려내는 일이다. AI는 전자에서 빠르게 사람을 따라잡고 있다. 그러나 후자 앞에서는 자꾸 안전한 가운데로 물러선다. 다만 그 간극이 영원히 메워지지 않는 것은 아니다. 사람이 맥락을 쥐여주면 AI의 판단도 사람에 가까워진다. 감식안(鑑識眼)은 AI에게 애초부터 결여된 능력이라기보다, 맥락이 주어져야 비로소 작동하는 능력에 가깝다.

이 연재가 계속 짚어온 구분이 여기서도 되풀이된다. 텍스터는 AI가 매긴 점수를 그대로 받아들인다. 등급이 높으면 좋은 것이고, 통과 판정이 나면 훌륭한 것이다. 숫자가 판단을 대신해주니 편하다. 컨텍스터는 다르게 움직인다. 그 점수가 안전한 중간값으로 도피한 결과는 아닌지, 그 판정 뒤에 정말 안목이 있는지를 다시 묻는다. 그리고 AI가 좋은 판단을 내릴 수 있도록 스스로 맥락과 기준을 먼저 쥐여준다. 점수는 출발점이지 결론이 아니다.

우리 주변에도 이미 채점표가 넘쳐난다. 콘텐츠의 조회수, 이력서의 AI 스크리닝 점수, 보고서의 완성도 지표. 모두 숫자로 보기 좋게 정리돼 있다. 그러나 그 숫자가 가리지 못하는 것들이 있다. 정말 새로운 시도인지, 정말 마음을 움직이는지, 정말 다음 세대에 물려줄 만한 가치가 있는지. 그것을 갈라내는 눈은 아직 채점표 밖에 있다.

AI가 채점을 넘겨받는 시대, 감식은 더 희소해진다. 희소한 것이 힘을 가진다. 오늘 우리 앞의 결과물에 매겨진 점수 하나를 다시 보자. 그 점수가 안목인지, 채점인지. 그 물음이 우리를 텍스터에서 컨텍스터로 데려간다.

최홍규 EBS 연구위원 / 미디어학 박사