[프라임경제] 스타트업이 개발한 서비스에 AI가 탑재되는 일은 이제 낯설지 않다. 채용 플랫폼이 지원자의 이력서를 AI로 필터링하고, 핀테크 서비스가 AI로 대출 가능 여부를 판단한다.
그런데 이러한 서비스를 운영할 때, 그 결과로 영향을 받는 자에게는 AI 판단의 근거와 과정에 대한 설명을 요구할 법적 권리가 이미 부여되어 있다는 점을 많은 스타트업이 아직 충분히 인식하지 못하고 있는 것 같다.
이 글에서는 개인정보 보호법이 정보주체에게 부여한 자동화된 결정에 대한 설명·검토 요구권과, '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(AI기본법)이 인공지능으로 영향받는 자에게 보장하고자 하는 설명 제공 원칙을 함께 살펴보고, 특히 인간의 의사결정을 자동화하는 AI 서비스를 운영하는 스타트업에게 두 법령이 어떤 의무를 지울 수 있는지를 짚어보고자 한다.
2024년 3월 시행된 '개인정보 보호법'은 제37조의2를 신설, 완전히 자동화된 시스템(AI 기술을 적용한 시스템을 포함한다)으로 개인정보를 처리하여 이루어지는 결정(자동화된 결정)에 대한 정보주체의 권리 및 그에 따른 개인정보처리자의 의무를 명시했다.
정보주체는 개인정보처리자가 자동화된 결정을 한 경우에는 그 결정에 대하여 설명 또는 검토를 요구할 수 있다. 구체적으로, 자동화된 결정의 기준 및 처리 과정 등에 대한 설명을 요구하거나, 또는 개인정보 추가 등의 의견을 제출하여 개인정보처리자가 해당 의견을 자동화된 결정에 반영할 수 있는지에 대한 검토를 요구할 수 있다.
설명을 요구받은 개인정보처리자는 정당한 사유가 없으면 결정의 결과, 사용된 주요 개인정보의 유형과 그것이 결정에 미친 영향, 결정이 이루어지는 절차 등을 포함하여 간결하고 의미 있는 설명을 제공해야 한다. 검토를 요구받은 경우에는 정당한 사유가 없으면 정보주체가 제출한 의견의 반영 여부를 검토하고 그 결과를 알려야 한다.
정보주체는 자동화된 결정이 ① 정보주체의 권리 또는 의무에 중대한 영향을 미치면서도, ② 정보주체의 동의, 법령상 의무, 계약 이행 등 법이 정한 예외 사유 중 어느 하나에도 해당하지 않는다면 해당 결정을 거부할 권리도 가진다.
이 경우 개인정보처리자는 정당한 사유가 없는 한 자동화된 결정을 적용하지 않거나 인적 개입에 의한 재처리를 하고 그 결과를 알려야 한다. 한편, 개인정보처리자는 자동화된 결정의 기준과 절차, 정보주체가 거부·설명 등 요구를 할 수 있다는 사실과 그 방법 및 절차를 인터넷 홈페이지 등을 통해 공개해야 한다.
한편, 올해 1월 시행된 AI기본법도 유사한 내용을 담고 있다. AI기본법 제3조는 인공지능의 최종결과 도출에 활용된 주요 기준 및 원리 등에 대하여 기술적ㆍ합리적으로 가능한 범위에서 명확하고 의미 있는 설명이 제공되어야 한다는 방향 아래, 영향받는 자에 대한 설명가능성을 인공지능 개발·활용 과정의 기본원칙으로 제시하고 있다.
나아가 AI기본법은 채용, 대출 심사 등 개인의 권리·의무 관계에 중대한 영향을 미치는 영역에서 활용되는 AI를 '고영향 인공지능'으로 정의하고, 해당 사업자에게는 AI가 도출한 최종결과와 그 도출에 활용된 주요 기준에 대한 설명 방안의 수립·시행 의무를 부과한다.
두 법령은 소관 부처와 규율 목적, 규제 방식에서 차이를 보인다. 개인정보 보호법은 개인정보보호위원회 소관으로 개인의 자유와 권리 보호를 목적으로 하고, AI기본법은 과학기술정보통신부 소관으로 AI 산업 전반의 신뢰 기반 조성을 목적으로 한다.
그러나 AI가 개인에 관한 데이터를 처리하여 중요한 결정을 내리는 부분에서는 두 법령이 동시에 적용될 수 있다. 개인정보 보호법은 자동화된 결정의 기준과 절차를 공개하도록 요구한다. 정보주체가 설명이나 재검토를 요구하는 경우 이에 대응할 의무도 부과한다. AI기본법은 고영향 인공지능 사업자에게 설명 체계 자체를 사전에 구축·운영하도록 요구한다.
이처럼 접근 방식은 다르지만, 결국 두 법령 모두 AI 의사결정에 대한 설명가능성과 책임성을 요구한다. AI 서비스를 운영하는 스타트업은 이제 두 법령을 함께 고려하여 서비스 구조와 내부 절차를 설계할 필요가 있다.
한편, 두 법령 모두 정당한 권한을 가진 사람의 실질적이고 의미 있는 개입이 없었을 것을 규율의 핵심 기준으로 삼고 있다.
개인정보보호위원회 고시 '자동화된 결정에 대한 개인정보처리자의 조치 기준'은 이를 '자동화된 결정'의 판단 요건으로 규율하고, 과학기술정보통신부·한국지능정보사회진흥원이 발행한 '고영향 인공지능 판단 가이드라인'도 사람의 개입 없이 자율적으로 의사결정을 내리는 정도가 클수록 고영향 인공지능에 해당할 가능성이 높다고 해설한다.
AI를 활용한 서비스를 운영하거나 준비 중인 스타트업이라면 자신의 서비스가 영향을 받는 자의 권리나 의무에 중대한 영향을 미치는지, AI가 도출한 점수나 등급을 담당자가 실질적 개입 없이 형식적으로만 확인하는 구조를 취하고 있지는 않은지, 그리고 설명이나 검토 요구에 실제로 응할 수 있는 내부 절차가 갖춰져 있는지를 점검할 필요가 있다.
AI를 도입하는 속도만큼, 그 의사결정을 설명하고 통제할 수 있는 내부 체계를 갖추는 일 역시 이제 스타트업의 중요한 컴플라이언스 과제가 되고 있다.
박영서 법무법인 디엘지 변호사
연세대학교 경제학과 졸업 / 연세대학교 법학전문대학원 졸업
