▲ 출처=freepik  © 특허뉴스

미국 캘리포니아 주 정부가 급변하는 인공지능(AI) 기술의 위험을 심층적으로 분석하고, 증거 기반의 균형 잡힌 정책 수립을 위한 ‘캘리포니아 프론티어 인공지능(AI) 정책 보고서(The California Report on Frontier AI Policy)’를 발표했다. 이는 지난 2024년 스콧 위너 상원의원이 발의한 ‘프론티어 AI 모델을 위한 안전과 보안 혁신 법안(SB 1047)’에 대해 개빈 뉴섬 주지사가 일률적이고 과도한 규제라는 이유로 거부권을 행사하며, AI 모델의 위험과 역량에 대한 분석 필요성을 언급한 데 따른 후속 조치다.

이번 보고서는 증거에 기반한 정책 수립을 보장하고, 투명성 개선 및 보안 위험 등의 고려사항 간의 균형을 유지하며, 급속히 발전하는 AI 기술 분야에서 적절한 규제 수준을 결정하는 것에 대한 권고를 담고 있다. 특히, 위험과 보상 사이의 균형 유지, 증거 기반의 정책 결정과 유연한 프레임워크의 필요성, 투명성 개선, 정책 개입을 위한 기준 설정 등을 주요 원칙으로 제시했다.

보고서는 AI 기술이 초래할 수 있는 기술 관련 위험을 크게 세 가지 범주로 분류하며, 이에 대한 정책적 대응의 필요성을 강조했다.

첫째, 악의적 위험(Malicious risks)은 악의적인 행위자들이 기초 모델을 악용하여 고의적인 해를 입히는 경우를 의미한다. 여기에는 동의 없이 생성된 친밀한 이미지(NCII), 아동 성 착취물(CSAM), 금융 사기에 사용되는 복제된 음성의 시뮬레이션 콘텐츠, 허위 정보로 여론을 조작하는 행위, 사이버 공격, 생물학적 및 화학적 공격 등이 포함된다.

둘째, 오작동 위험(Malfunction risks)은 악의적이지 않은 행위자가 기초 모델을 설계 방식대로 사용하지만 의도치 않게 발생할 수 있는 부작용이 있는 경우를 의미한다. 모델이 허위 콘텐츠를 생성하는 신뢰성 문제, 특정 집단 또는 정체성에 대한 편향, 인간 감독자의 직접적인 통제 없이 해로운 방식으로 작동하는 통제 상실 등이 포함된다.

셋째, 시스템적 위험(Systemic risks)은 기초 모델의 광범위한 배포와 관련되며, 개인정보 보호 위험, 저작권 침해 등이 포함된다.

이와 함께 보고서는 투명성 개선의 중요성을 역설하며, 현재 기업 자체 검증이나 계약된 외부 업체 중심으로 이루어지는 모델 안정성 평가의 한계를 지적했다. 이러한 한계를 극복하고 AI 모델에 대한 더 많은 투명성을 보장하기 위해, 제3자 평가에 있어 평가자에 대한 법적·기술적 보호 장치인 ‘세이프 하버(Safe Harbor)’ 조항의 신설을 강조했다.

캘리포니아 주 정부의 이번 보고서 발표는 AI 기술의 잠재적 위험을 선제적으로 관리하고, 혁신을 저해하지 않으면서도 사회적 안전망을 구축하려는 노력의 일환으로 풀이된다. 앞으로 캘리포니아 주의 AI 관련 정책은 이번 보고서를 기반으로 더욱 구체화될 전망이다.