추천 콘텐츠
휘파람을 불 권리
2024년 6월 7일, explained
AI의 안전을 담보할 수 있는 주체가 없다.
2024년 2월 8일 지나 라이몬도 미국 상무부 장관이 미국 AI 안전 연구소 컨소시엄(AISIC) 설립을 발표하고 있다. 사진 : US Department of Commerce
NOW THIS
오픈AI와 구글 딥마인드의 전현직 직원들이 성명을 발표했다. AI 기업들이 내부자의 비판을 막지 말아야한다는 요구가 담겼다. AI의 발전과 더불어 그 위험성에 대한 우려는 이어지고 있지만, 내부 사정을 잘 알고 있는 전현직 직원이 비판 의견을 내놓았다가는 보복을 당하거나 법적 조치를 당하게 된다는 것이다. 기술은 빠르고 규제는 느리다. AI 모델의 결함을 제대로 이해할 수 있는 사람들은 실제 개발 과정에 직, 간접적으로 관여하고 있는 내부자로 한정된다. 그러나 AI 모델의 결함을 경고하는 것과 내부 고발자(whistleblower)가 되는 것은 성격이 다르다. 전자는 기업의 기밀 누설에 해당하고 후자는 불법을 고발하는 것이다. 즉, 전자는 법적인 보호를 받지 못한다. 성명을 발표한 직원들은 AI 기업들이 비판에 열려있어야 한다고 주장한다. 즉, ‘레드팀’을 환영하라는 얘기다.
WHY NOW
미래는 아직 도래하지 않았기 때문에 단정 지어 말할 수 없다. AI 기술이 인류에게 유토피아를, 혹은 디스토피아를 안겨줄지는 아무도 모른다는 얘기다. 다만, 더 나은 미래를 만들기 위해 노력해야 할 의무가 있을 뿐이다. 하지만, 우리 대부분은 현재 생성형 AI가 무엇을 학습하며 어떤 원리로 이렇게 놀라운 결과를 갱신하고 있는지 잘 모른다. 개발하고 있는 이들조차 전부 알고 있는 것은 아니다. 위험을 경고할 만큼의 지식이 있는 이들은 실제로 AI를 만들고 있는 사람들, 즉 직원들이다. 이들이 비판할 권리를 주장하고 나섰다. 무슨 일이 벌어지고 있는지, 들여다봐야 할 때다.
프론티어 AI의 정의
성명서를 낸 직원은 총 13명이다. 오픈AI 출신이 11명, 구글 딥마인드 소속이 2명으로 자신들을 ‘프론티어 AI 기업’의 전현직 직원이라 밝혔다. 프론티어 AI란 무엇일까. 이 개념이 본격적으로 등장한 것은 지난 2023년 11월 영국에서 열린 ‘제1회 AI 안전 정상 회의’다. 이 회의에서 고도의 능력을 갖춘 범용 AI 모델을 ‘프론티어 AI’로 명명했다. 현재의 최첨단 모델의 기능과 일치하거나 그 이상의 기능을 발휘하는 것으로 이해되는 AI라는 설명이다.
포럼 가입 자격
공교롭게도 회의가 열리기 4개월 전, ‘프론티어 모델 포럼(Frontier Model Forum, FMF)’이 출범했다. 2023년 기준으로 전 세계 AI 도구 시장 점유율 1위를 차지하고 있는 오픈AI를 비롯해, 구글, 마이크로소프트, 앤트로픽 등이 참여한 NGO다. 이들이 정의하는 ‘프론티어 AI는’ 좀 더 구체적이다. 성능 벤치마크, 고위험 역량 평가 등에 따라 최소 12개월 이상 널리 배포된 다른 모든 모델보다 뛰어난 성능을 보여야 프론티어 AI로 인정받을 수 있다. 그 기준에 부합하는 회사가 FMF 창립 멤버 4개 회사다. 즉, 설립 당시 성능 1위부터 4위까지 함께 FMF를 만들었다는 얘기다. 그리고 지난 5월에는 아마존과 메타까지 합류했다. 지금 FMF에는 성능 상위 6개 회사가 다 모여 있는 셈이다. 생성형 AI 기술을 개발하고 제공하는 산업계의 입장을 거의 완벽하게 대변한다고 할 수 있다.
안전을 위한 행보
FMF를 창립한 표면적인 이유는 ‘책임 있는 AI 개발’을 위해서다. 적어도 FMF가 설명하는 그들의 사명은 그렇다. 천만 달러 이상의 기금으로 AI 안전성 연구를 촉진하고 정부와 학계, 시민사회, 산업계 전반에 AI 안전과 관련한 정보를 공유하겠다고 밝혔다. 이후 이들의 행보를 살펴보면 굵직한 활동 두 가지가 관찰된다. 첫 번째는 미국 표준 기술 연구소(NIST)에서 구성한 미국 AI 안전 연구소 컨소시엄(AISIC)의 창립 멤버로 합류한 것이다. 두 번째는 AI 안전성 관련 연구에 지원금을 지급하는 계획이다. 오는 7월, 연구 지원자 중 선정 결과를 발표할 예정이다.
규제 포획
AISIC은 지난 2023년 10월 미국 바이든 대통령이 서명하고 발효시킨 ‘AI 규제 행정 명령’과 관련 있다. 기업이 AI 안전 테스트를 시행하고, 그 결과와 개발 과정에서의 민감 정보를 정부에 보고하도록 하는 내용 등이 담겼다. 자율 규제에 무게를 실어 왔던 미국이 안보를 이유로 규제의 틀을 마련한 것이다. 근데 그 규제의 상세를 만들고 실행할 AISIC에 FMF가 합류했다. 선수가 나서 기준을 세우는 꼴이다. 두 가지 부작용이 예상된다. 반칙의 기준을 느슨하게 만들거나, 새로 영입된 선수들에게 불리한 규칙을 만들거나. FMF 출범 초기 제기되었던 ‘규제 포획’ 우려가 현실에 더욱 가까워졌다.
휘파람을 부는 사람들의 위험
AI 안전성 관련 연구 지원은 아직 지원자와 그 선정 결과가 공개되지 않아 섣불리 평가할 수 없다. 다만 이 지원 사업이 FMF 창립의 실질적인 목적이라 할 수 있다. 2023년 7월, FMF의 회원을 포함한 AI 기업들이 조 바이든 행정부의 요청에 따라 ‘AI 안전 서약서’에 서명했다. 서약서에는 제 3자로 구성한 ‘레드팀’을 조직해 AI 시스템의 취약점을 발견하고 보고하겠다는 내용이 포함되었다. 그러나 현실에서 AI 서비스 제공 기업들은 AI 모델 결함에 대한 독립적인 평가와 그 결과 공개를 금지하고 있다. 해당 결함을 이용해서 AI 시스템을 악의적으로 공격 할 수 있다는 우려 떄문이다. 그러나 이 때문에 연구자들은 모델 결함에 관한 연구 결과 공개를 금지당하거나 연구 수행 중 AI 서비스 계정이 정지당하고 있다. 여기에 더해 소송의 위험까지 감수하는 경우도 있다. 실제로 이미지 생성 AI인 ‘미드저니’의 저작권 침해를 연구하던 연구자의 계정이 갑자기 정지된 사례가 공개적으로 보고되기도 했다.
연구의 돈줄
일부 프론티어 AI 기업이 제공하고 있는 ‘연구자 접근 프로그램(Researcher Access Programs)’의 경우에도 몇 가지 한계점이 지적된다. 선정된 연구팀이 성별, 국가, 인종 등 다양한 계층을 대표하지 못해 연구의 편향성을 초래할 수 있다. 게다가 이러한 프로그램은 이미 AI 기업과 연관이 있거나 기업의 이해관계에 부합하는 연구자들에게 주로 열려 있어 한계가 더욱 심화한다. 또, 연구자들이 충분한 자금 지원을 받지 못하거나 기업의 불투명한 연구자 선정 방식에 의해 연구 결과가 왜곡되는 경우도 있다. FMF의 연구 지원 사업 또한 이러한 한계를 일부 공유할 것이라고 예상할 수 있다.
정보 비대칭
AI 연구에는 막대한 자본이 필요하다. 쉽게 말해 개당 5500만 원에 달하는 엔비디아의 주력 AI 칩 ‘H100’이 몇천 개씩 필요하다는 얘기다. 결국, 이미 컴퓨팅 자원과 데이터를 확보하고 있는 ‘프론티어 AI 기업’들이 연구에 있어 절대적으로 유리하다. 실제로 현재의 위치에 오르기 전 오픈AI도 챗GPT-3을 개발하는 과정에서 MS의 Azure AI 슈퍼컴퓨팅 기술을 지원받았다. 결국, 그들만의 리그 바깥에서는 AI 안전성 관련 연구에 한계가 발생한다. 안전성 관련해서도 프론티어AI 기업과 그 바깥 사이에는 극심한 정보 비대칭이 발생할 수밖에 없다. 공공 기금이라도 모아서 독립 연구를 지원해야 한다는 주장이 나오는 이유다.
IT MATTERS
위험 신호가 있어도, 그 신호를 눈치챌 수 있는 사람이 내부자일 수밖에 없다면 내부자가 휘파람을 불 수 있어야 한다. 그러나 현실은 그렇지 않다. 구글 AI 윤리팀 대표였던 팀닛 게브루 박사는 지난 2020년 해고당했다. 구글이 개발 중인 AI 모델을 조목조목 비판하는 논문을 발표한 직후였다. AI 훈련 과정에서 발생하는 탄소 발자국, AI가 쉽게 악용될 우려 등을 담은 논문이었다. 지난 5월에는 오픈AI에서 AI의 장기적인 위험을 연구하는 슈퍼얼라이먼트(superalignment) 팀을 이끌었던 최고과학자 일리야 수츠케버가 회사를 떠났다. 팀은 해체되었다. 이후 챗GPT-4o 발표 이후 음성 모방 논란이 불거지자, 오픈AI는 안전 및 보안 위원회(safety and security)를 구성했다.
이번 성명은 이러한 맥락에서 큰 의미를 갖는다. 회사 바깥에는 제동을 걸 사람이 없다. 그럴 능력을 갖기가 힘들다. 그렇다면 회사 내부의 입을 막지 말아 달라는 호소다. 물론 내부 고발자를 보호하는 제도는 있다. 하지만 불법을 고발하는 것과 개발 중인 기술의 위험성을 고발하는 것은 다르기 때문에 법으로 이들을 보호하는 데에는 한계가 있다. 내부 고발자의 증언에 AI 안전성을 맡겨둬도 될 문제인가도 고민해 봐야 할 지점이다. AI의 사용자는 우리 모두다. 결국, 감시와 경고의 주체도 우리 모두가 될 수밖에 없다. 자본의 장벽, 기술의 장벽을 넘어 안전한 개발과 사용을 담보할 방법을 함께 찾아야 한다. 물론 그 시작점은 AI 규제와 진흥을 모두 주도할 정부다.
오픈AI와 구글 딥마인드의 전현직 직원들이 성명을 발표했다. AI 기업들이 내부자의 비판을 막지 말아야한다는 요구가 담겼다. AI의 발전과 더불어 그 위험성에 대한 우려는 이어지고 있지만, 내부 사정을 잘 알고 있는 전현직 직원이 비판 의견을 내놓았다가는 보복을 당하거나 법적 조치를 당하게 된다는 것이다. 기술은 빠르고 규제는 느리다. AI 모델의 결함을 제대로 이해할 수 있는 사람들은 실제 개발 과정에 직, 간접적으로 관여하고 있는 내부자로 한정된다. 그러나 AI 모델의 결함을 경고하는 것과 내부 고발자(whistleblower)가 되는 것은 성격이 다르다. 전자는 기업의 기밀 누설에 해당하고 후자는 불법을 고발하는 것이다. 즉, 전자는 법적인 보호를 받지 못한다. 성명을 발표한 직원들은 AI 기업들이 비판에 열려있어야 한다고 주장한다. 즉, ‘레드팀’을 환영하라는 얘기다.
WHY NOW
미래는 아직 도래하지 않았기 때문에 단정 지어 말할 수 없다. AI 기술이 인류에게 유토피아를, 혹은 디스토피아를 안겨줄지는 아무도 모른다는 얘기다. 다만, 더 나은 미래를 만들기 위해 노력해야 할 의무가 있을 뿐이다. 하지만, 우리 대부분은 현재 생성형 AI가 무엇을 학습하며 어떤 원리로 이렇게 놀라운 결과를 갱신하고 있는지 잘 모른다. 개발하고 있는 이들조차 전부 알고 있는 것은 아니다. 위험을 경고할 만큼의 지식이 있는 이들은 실제로 AI를 만들고 있는 사람들, 즉 직원들이다. 이들이 비판할 권리를 주장하고 나섰다. 무슨 일이 벌어지고 있는지, 들여다봐야 할 때다.
프론티어 AI의 정의
성명서를 낸 직원은 총 13명이다. 오픈AI 출신이 11명, 구글 딥마인드 소속이 2명으로 자신들을 ‘프론티어 AI 기업’의 전현직 직원이라 밝혔다. 프론티어 AI란 무엇일까. 이 개념이 본격적으로 등장한 것은 지난 2023년 11월 영국에서 열린 ‘제1회 AI 안전 정상 회의’다. 이 회의에서 고도의 능력을 갖춘 범용 AI 모델을 ‘프론티어 AI’로 명명했다. 현재의 최첨단 모델의 기능과 일치하거나 그 이상의 기능을 발휘하는 것으로 이해되는 AI라는 설명이다.
포럼 가입 자격
공교롭게도 회의가 열리기 4개월 전, ‘프론티어 모델 포럼(Frontier Model Forum, FMF)’이 출범했다. 2023년 기준으로 전 세계 AI 도구 시장 점유율 1위를 차지하고 있는 오픈AI를 비롯해, 구글, 마이크로소프트, 앤트로픽 등이 참여한 NGO다. 이들이 정의하는 ‘프론티어 AI는’ 좀 더 구체적이다. 성능 벤치마크, 고위험 역량 평가 등에 따라 최소 12개월 이상 널리 배포된 다른 모든 모델보다 뛰어난 성능을 보여야 프론티어 AI로 인정받을 수 있다. 그 기준에 부합하는 회사가 FMF 창립 멤버 4개 회사다. 즉, 설립 당시 성능 1위부터 4위까지 함께 FMF를 만들었다는 얘기다. 그리고 지난 5월에는 아마존과 메타까지 합류했다. 지금 FMF에는 성능 상위 6개 회사가 다 모여 있는 셈이다. 생성형 AI 기술을 개발하고 제공하는 산업계의 입장을 거의 완벽하게 대변한다고 할 수 있다.
안전을 위한 행보
FMF를 창립한 표면적인 이유는 ‘책임 있는 AI 개발’을 위해서다. 적어도 FMF가 설명하는 그들의 사명은 그렇다. 천만 달러 이상의 기금으로 AI 안전성 연구를 촉진하고 정부와 학계, 시민사회, 산업계 전반에 AI 안전과 관련한 정보를 공유하겠다고 밝혔다. 이후 이들의 행보를 살펴보면 굵직한 활동 두 가지가 관찰된다. 첫 번째는 미국 표준 기술 연구소(NIST)에서 구성한 미국 AI 안전 연구소 컨소시엄(AISIC)의 창립 멤버로 합류한 것이다. 두 번째는 AI 안전성 관련 연구에 지원금을 지급하는 계획이다. 오는 7월, 연구 지원자 중 선정 결과를 발표할 예정이다.
규제 포획
AISIC은 지난 2023년 10월 미국 바이든 대통령이 서명하고 발효시킨 ‘AI 규제 행정 명령’과 관련 있다. 기업이 AI 안전 테스트를 시행하고, 그 결과와 개발 과정에서의 민감 정보를 정부에 보고하도록 하는 내용 등이 담겼다. 자율 규제에 무게를 실어 왔던 미국이 안보를 이유로 규제의 틀을 마련한 것이다. 근데 그 규제의 상세를 만들고 실행할 AISIC에 FMF가 합류했다. 선수가 나서 기준을 세우는 꼴이다. 두 가지 부작용이 예상된다. 반칙의 기준을 느슨하게 만들거나, 새로 영입된 선수들에게 불리한 규칙을 만들거나. FMF 출범 초기 제기되었던 ‘규제 포획’ 우려가 현실에 더욱 가까워졌다.
휘파람을 부는 사람들의 위험
AI 안전성 관련 연구 지원은 아직 지원자와 그 선정 결과가 공개되지 않아 섣불리 평가할 수 없다. 다만 이 지원 사업이 FMF 창립의 실질적인 목적이라 할 수 있다. 2023년 7월, FMF의 회원을 포함한 AI 기업들이 조 바이든 행정부의 요청에 따라 ‘AI 안전 서약서’에 서명했다. 서약서에는 제 3자로 구성한 ‘레드팀’을 조직해 AI 시스템의 취약점을 발견하고 보고하겠다는 내용이 포함되었다. 그러나 현실에서 AI 서비스 제공 기업들은 AI 모델 결함에 대한 독립적인 평가와 그 결과 공개를 금지하고 있다. 해당 결함을 이용해서 AI 시스템을 악의적으로 공격 할 수 있다는 우려 떄문이다. 그러나 이 때문에 연구자들은 모델 결함에 관한 연구 결과 공개를 금지당하거나 연구 수행 중 AI 서비스 계정이 정지당하고 있다. 여기에 더해 소송의 위험까지 감수하는 경우도 있다. 실제로 이미지 생성 AI인 ‘미드저니’의 저작권 침해를 연구하던 연구자의 계정이 갑자기 정지된 사례가 공개적으로 보고되기도 했다.
연구의 돈줄
일부 프론티어 AI 기업이 제공하고 있는 ‘연구자 접근 프로그램(Researcher Access Programs)’의 경우에도 몇 가지 한계점이 지적된다. 선정된 연구팀이 성별, 국가, 인종 등 다양한 계층을 대표하지 못해 연구의 편향성을 초래할 수 있다. 게다가 이러한 프로그램은 이미 AI 기업과 연관이 있거나 기업의 이해관계에 부합하는 연구자들에게 주로 열려 있어 한계가 더욱 심화한다. 또, 연구자들이 충분한 자금 지원을 받지 못하거나 기업의 불투명한 연구자 선정 방식에 의해 연구 결과가 왜곡되는 경우도 있다. FMF의 연구 지원 사업 또한 이러한 한계를 일부 공유할 것이라고 예상할 수 있다.
정보 비대칭
AI 연구에는 막대한 자본이 필요하다. 쉽게 말해 개당 5500만 원에 달하는 엔비디아의 주력 AI 칩 ‘H100’이 몇천 개씩 필요하다는 얘기다. 결국, 이미 컴퓨팅 자원과 데이터를 확보하고 있는 ‘프론티어 AI 기업’들이 연구에 있어 절대적으로 유리하다. 실제로 현재의 위치에 오르기 전 오픈AI도 챗GPT-3을 개발하는 과정에서 MS의 Azure AI 슈퍼컴퓨팅 기술을 지원받았다. 결국, 그들만의 리그 바깥에서는 AI 안전성 관련 연구에 한계가 발생한다. 안전성 관련해서도 프론티어AI 기업과 그 바깥 사이에는 극심한 정보 비대칭이 발생할 수밖에 없다. 공공 기금이라도 모아서 독립 연구를 지원해야 한다는 주장이 나오는 이유다.
IT MATTERS
위험 신호가 있어도, 그 신호를 눈치챌 수 있는 사람이 내부자일 수밖에 없다면 내부자가 휘파람을 불 수 있어야 한다. 그러나 현실은 그렇지 않다. 구글 AI 윤리팀 대표였던 팀닛 게브루 박사는 지난 2020년 해고당했다. 구글이 개발 중인 AI 모델을 조목조목 비판하는 논문을 발표한 직후였다. AI 훈련 과정에서 발생하는 탄소 발자국, AI가 쉽게 악용될 우려 등을 담은 논문이었다. 지난 5월에는 오픈AI에서 AI의 장기적인 위험을 연구하는 슈퍼얼라이먼트(superalignment) 팀을 이끌었던 최고과학자 일리야 수츠케버가 회사를 떠났다. 팀은 해체되었다. 이후 챗GPT-4o 발표 이후 음성 모방 논란이 불거지자, 오픈AI는 안전 및 보안 위원회(safety and security)를 구성했다.
이번 성명은 이러한 맥락에서 큰 의미를 갖는다. 회사 바깥에는 제동을 걸 사람이 없다. 그럴 능력을 갖기가 힘들다. 그렇다면 회사 내부의 입을 막지 말아 달라는 호소다. 물론 내부 고발자를 보호하는 제도는 있다. 하지만 불법을 고발하는 것과 개발 중인 기술의 위험성을 고발하는 것은 다르기 때문에 법으로 이들을 보호하는 데에는 한계가 있다. 내부 고발자의 증언에 AI 안전성을 맡겨둬도 될 문제인가도 고민해 봐야 할 지점이다. AI의 사용자는 우리 모두다. 결국, 감시와 경고의 주체도 우리 모두가 될 수밖에 없다. 자본의 장벽, 기술의 장벽을 넘어 안전한 개발과 사용을 담보할 방법을 함께 찾아야 한다. 물론 그 시작점은 AI 규제와 진흥을 모두 주도할 정부다.