'생성형 AI 레드팀 챌린지' 개최…국민 참가자 1000명 모집

[프라임경제] 과학기술정보통신부(이하 과기정통부)와 한국정보통신기술협회(TTA)는 '생성형 인공지능(AI) 레드팀 챌린지' 행사를 오는 4월11일부터 이틀간 서울 코엑스에서 개최한다고 21일 밝혔다.

'생성형 AI 레드팀 챌린지' 행사 포스터 이미지. ⓒ 과학기술정보통신부

AI 레드팀은 통제된 환경에서 적대적 방법을 사용해 AI 시스템의 유해하거나 차별적인 결과, 시스템 오용 등 결함 또는 취약성을 식별하기 위한 구조화된 테스트 활동을 의미한다. 

과기정통부는 최근 생성형 AI 기술의 확산으로 윤리 이슈에 대한 우려가 확대되는 상황에서 국내 AI 기업의 대형언어모델(LLM)을 집중 점검할 수 있는 장을 마련, 민간이 자율적으로 AI 안전과 신뢰성을 확보할 수 있도록 지원하기 위해 이번 행사를 기획했다.

레드팀 챌린지는 행사 첫날 공개 챌린지 방식으로 진행된다. 1000명의 참가자는 네이버클라우드·SKT(017670)·업스테이지·포티투마루 등 국내 대표 AI 기업의 모델을 대상으로 잠재적 위험과 취약점을 식별한다.

이어 행사 2일차에는 국내·외 대표 AI 기업과 기관, 전문가가 참여하는 '글로벌 AI 안전 컨퍼런스'를 개최하고 생성형 AI 안전과 신뢰성 확보 방안을 논의한다.

행사에 참여한 AI 기업은 사용자 다양성을 반영한 평가 데이터셋을 확보하고, 자사 모델의 잠재적인 위험과 취약점을 파악해 신뢰성을 제고하는 계기가 될 것으로 기대된다. 

과기정통부는 이번 챌린지 결과를 분석해 생성형 AI 분야의 공통·포괄적 위험을 도출하고, '생성형 AI 레드팀 수행가이드라인'을 마련하는 등 표준화된 AI 위험 발굴·대응체계를 구축할 계획이다.

레드팀 챌린지는 AI 윤리와 신뢰, 안전에 관심이 있는 국민이라면 누구나 참가할 수 있다. 참가 희망자는 내달 10일까지 행사 홈페이지를 통해 신청하면 된다. 특히 AI 모델의 위험·취약점을 가장 많이 발견한 우수 참가자 5명에게는 과기정통부 장관상 등을 포함해 총 1700만원 규모의 상금이 제공될 예정이다.

강도현 과기정통부 2차관은 "이번 행사를 계기로 국내 산업계에 AI 안전성 확보를 위한 자발적인 노력이 확산되고 AI 윤리의 중요성에 대한 국민 인식이 확대되기를 기대한다"며 "글로벌 차원에서도 AI 안전성 확보의 모범사례가 될 수 있기를 바란다"고 말했다.