알렉스 터너: 내가 구글 딥마인드를 떠난 이유Alex Turner: Why I left Google DeepMind

번역문 · 원저자: Alex Turner · 원문: Why I left Google DeepMind · 원문 라이선스: CC BY-SA 4.0. 이 번역문도 원문과 같은 CC BY-SA 4.0을 따릅니다.

원문: 「Why I left Google DeepMind」, Alex Turner(알렉스 터너), https://turntrout.com/why-i-left-google-deepmind. 원문은 2026년 7월 15일에 올라왔고, 이 번역은 2026년 10월 31일에 고친 판을 옮겼습니다. LessWrong에도 같은 글이 올라와 있습니다.

라이선스: 원문은 CC BY-SA 4.0을 따릅니다(turntrout.com © 2024–2026 Alexander Turner). 이 글은 그 원문을 한국어로 옮긴 번역이며, 번역도 CC BY-SA 4.0을 따릅니다.

옮긴이 일러두기: 원문에 실린 사진(보도 사진과 인물 사진)과 그림은 지은이가 아닌 사람에게 권리가 있을 수 있어 싣지 않았고, 그 자리에는 원문의 사진 설명만 옮겼습니다. 원문에 끼워 넣은 트윗과 영상도 링크로 바꾸었습니다. 원문 안의 다른 절로 가는 링크는 원문 페이지의 해당 위치로 이어 두었습니다. 대괄호 안의 [옮긴이] 표시는 옮긴이가 덧붙인 말입니다.

1월, 미국 국토안보부DHS 요원들이 적어도 두 사람을 죽였습니다. 두 번 모두 연방 요원이 총을 움켜쥐고, 평화롭게 있던 시민을 겨누어, 쏘아 죽였습니다.

(사진 두 장, 싣지 않음) 르네 굿Renée Good, DHS에게 죽임을 당하기 직전의 모습. 알렉스 프레티Alex Pretti, DHS에게 죽임을 당하기 직전의 모습.

저는 구글이 DHS 안의 해당 기관들에 클라우드 서비스를 팔고 있다는 사실을 알게 되었습니다. 잘못된 일이라고 생각했습니다. 연방 요원이 길거리에서 죄 없는 시민을 죽일 수 있어서는 안 됩니다. 저는 회사가 이 기관들에 서비스를 그만 대도록 압박할 가장 효과적인 방법을 찾아 나섰습니다. 그러다 미 국방부가 AI 업체들에게, 킬러 로봇이나 대량 감시에 쓰는 것을 막는 제한이 하나도 없는 군사 AI 계약을 맺으라고 압박하기 시작했습니다. 그러자 제 투자 철회 운동은 금세 구글이 비윤리적인 군사 AI 계약을 맺지 못하게 막으려는 시도로 넓어졌습니다.¹

저는 AI 윤리 약속이 압력 앞에서도 지켜지기를 바랐습니다. 특히 구글 딥마인드GDM가 킬러 로봇을 돕지 않겠다는 기존 약속을 지키기를 바랐습니다. 몇 달에 걸쳐 저는 많은 사람에게 행동해 달라고 부탁했습니다. 지위가 높은 사람들, 존경받는 사람들, AI 윤리와 안전을 걱정해 온 덕에 명성이 빛나는 사람들에게 부탁했습니다. 거의 모두가 거절했습니다.

스튜어트 러셀Stuart Russell을 보겠습니다. 그는 10년 넘게 자율 무기에 맞서 싸워 온 유명한 AI 연구자입니다. 저는 그의 연구실에서 여러 해 일했습니다. 그는 한 학회의 무대 위에서, 자기 단체가 정부의 강압에 맞서는 AI 업체들을 지지하는 성명을 내도록 밀어붙이겠다고 동의했고, 단체 회원들을 상대로 설문을 하겠다고 약속했습니다. 성명도 설문도 흔적 없이 사라졌습니다.

제프 딘Jeff Dean도 있습니다. 그는 구글의 최고 과학자이고 구글 제미나이Gemini AI 프로젝트의 공동 책임자입니다. 2018년에 제프는 킬러 로봇의 개발이나 사용을 결코 돕지 않겠다는 서약에 서명했습니다. 저는 제프가 국방부에 맞선 앤트로픽을 지지하는 법정 조언자 의견서(amicus brief, 소송 당사자가 아닌 사람이 판결에 영향을 주려고 의견을 내는 문서)에 공개적으로, 과감하게 이름을 올리게 했습니다. 하지만 저는 그에게 그 막대한 영향력을 써서 구글이 군과 비윤리적인 계약을 맺지 못하게 막아 달라고도 부탁했는데, 그가 그렇게 했다고는 생각하지 않습니다. 그는 서약을 하고도 구글에 남아 있습니다.

저는 계약 문구와 감독 장치를 담은 25쪽짜리 제안서를 썼습니다. 군사법과 감시법 전문가들이 이 제안서를 칭찬했습니다. 구글이 떳떳하게 내세울 수 있는, 원칙 있는 대안이었습니다. 저는 제안서를 데미스 허사비스(Demis Hassabis, GDM의 CEO)에게 보냈고, 그는 이를 고위 정책 담당자들에게 넘겼습니다. 하지만 제안서는 아무도 돌보지 않은 채 시들어 갔고, 그러다 구글이 계약을 맺었습니다.

고위 경영진은 구글이 서명하지 않을 것이라고 장담했습니다. 저는 생각이 달랐지만, 그들은 제 경고를 대체로 흘려들었습니다. 제가 이 계약을 둘러싼 국방부의 망설임을 키웠을 수는 있지만, 구글은 결국 킬러 로봇이나 AI 대량 감시를 막는 제한 없이 자기 AI를 넘겨주는 계약에 서명했습니다. 구글의 계약 제한은 오픈AI의 것보다도 약했습니다. 그 시점에서 저는 양심상 구글에 남을 수 없었고, 그래서 떠났습니다.

이 글은 제가 왜 구글 딥마인드를 떠났는지에 관한 이야기입니다. 동시에 더 큰 이야기이기도 합니다. 힘 있는 사람들과 기관들이 압력 앞에서 AI 윤리 약속을 하나둘 지키지 못한 이야기입니다.

사적인 대화에 관하여

이 글 전체에서 저는 허락 없이 누군가의 사적인 말을 인용하지 않습니다. 사적인 대화가 중요한 대목에서는 최소한으로만 성격을 묘사합니다. 그 밖에는 제 행동, 공개된 정보, 공식 소통만 다룹니다. 여러분은 제 묘사를 검증할 수 없으니, 그 점을 감안해서 받아들이시기 바랍니다. 이렇게 줄이느라 제 주장을 뒷받침했을 내용도 잘라 냈습니다.

제프 딘은 나중에 구글을 떠나 자기 서약을 지켰습니다

2026년 8월 5일(이 글을 올리고 몇 주 뒤)

순다르는 그를 붙잡으려 했습니다.

구글 최고의 AI 두뇌 4명이 떠나 자기들의 AI 스타트업을 세운다

딘에 따르면, 알파벳 CEO 순다르 피차이는 여러 번 만나며 이들이 사원증을 내려놓지 않게 하려 했다. 하지만 팀은 결국 스타트업을 하는 재미와 자유를 원한다고 결정했다.

그가 국방부 계약 때문에 떠났다는 공개 정보는 없습니다. 그래도 저는 제프가 떠나 2018년의 서약을 지킨 것은 잘된 일이라고 생각합니다.

구글은 이민 단속의 공급망을 받치고 있다

2026년 1월 26일

알렉스 프레티가 죽은 뒤, 저는 실제로 효과가 있는 행동을 하기로 마음먹었습니다. DHS가 끼치는 해를 줄일 방법을 찾으려고, 빅테크가 여기에 얼마나 얽혀 있는지 조사했습니다. 물론 마이크로소프트와 아마존은 훨씬 깊이 관여하고 있습니다. 그래도 구글도 이만큼 얽혀 있다는 사실에 놀랐습니다.

구글과 DHS의 계약

(사진 싣지 않음) 알렉스 프레티, 2024년.

• DHS의 2025년 AI 활용 사례 목록은 DHS의 “운영 효율을 높이는” 데 쓰이는 생성형 AI 업체 가운데 하나로 구글을 꼽습니다.
• 구글은 ITC 페더럴 같은 제3자를 거쳐 이민세관단속국ICE에 클라우드 서비스를 팝니다.²
• 2025년 10월 3일, 구글은 ICE의 움직임을 알려 주던 앱들을 스토어에서 내렸습니다.
• 구글은 시위에 참여한 한 학생의 계정 정보를 본인에게 알리지 않고 자진해서 ICE에 넘겼습니다. 이는 [정부에] 정보를 공개하기 전에 “사용자 계정으로 이메일을 보내겠다”는 서비스 약관의 약속을 깬 일입니다.³

하지만 내가 무엇을 할 수 있을까?

활동가가 흔히 떠올리는 행동은 청원입니다. 하지만 구글은 이미 이 문제를 두고 많은 직원이 서명한 청원을 무시한 적이 있었습니다. 게다가 구글 경영진은 흔한 조직화 전술에 대비해 회사를 단단히 굳혀 두었을 가능성이 컸습니다. 연좌 농성, 파업, 심지어 구글 엔지니어들의 집단 퇴사까지, 저는 모두 효과가 없다고 판단했습니다(그런 일을 해낼 수나 있다면 말입니다).

전략을 짜면서, 저는 아무 연구 엔지니어 100명이 그만둔다고 구글이 신경 쓰지는 않으리라고 판단했습니다. AI 업계에서는 인재가 위쪽에 몰려 있고, 팀을 움직이는 것은 바꾸기 어려운 소수의 스타입니다. 엔지니어 100명을 모을 필요는 없었습니다. 어쩌면 10명만 모으면 될지도 몰랐습니다.

뉴스를 지켜본 저는 순다르 피차이(구글 CEO)가 “윤리에 대해 멋진 연설을 해 주면 마음을 바꾸겠다” 하는 부류라기보다는 사업가에 가깝다고 짐작했습니다. 하지만 바꾸기 어려운 사람 몇이 떠날 준비가 되어 있다면 그것은 사업상 중요한 문제가 되니, 순다르도 귀를 기울일 수 있었습니다.

그때 제프 딘이 ICE가 얼마나 나쁜지 트윗하고 안네 프랑크의 말을 리트윗하던 것을 읽은 기억이 났습니다. 어쩌면 엔지니어 10명도 필요 없을지 몰랐습니다. 어쩌면 한 사람이면 충분할지도 몰랐습니다.

(트윗) 제프 딘의 트윗

(트윗, 제프 딘이 리트윗) Larrydn22의 트윗

제프는 구글에서 성자처럼 여겨집니다. 그는 구글의 30번째 직원이었고, 핵심 알고리즘들을 만들었으며, 원칙을 지키는 사람으로 알려져 있습니다. 흔한 농담이 있습니다. 제프 딘의 이력서에는 그가 이룬 것보다 이루지 못한 것을 적는 편이 더 짧다는 것입니다. 그는 구글의 최고 과학자이자 구글 제미나이 작업의 공동 책임자입니다. 제프가 떠난다면 회사에는 재앙일 것입니다.

그런데 제프가 그만큼 신경을 쓰고 그리고 그만큼 영향력이 크다면, 애초에 구글은 왜 이런 ICE 계약을 맺고 있었을까요? 물론 최고 과학자라고 해서 그만두겠다고 위협해 원하는 것을 매번 얻어 낼 수는 없습니다. 그래도 저는 여전히 어리둥절했습니다.

제프 딘과 이야기하다

2026년 2월 9일

처음에는 누가 저를 그에게 소개해 줄 수 있을지 생각했습니다. 하지만(이건 일반적으로도 좋은 교훈입니다) 누군가와 무언가에 대해 이야기하고 싶다면, 언제든 그냥 그 사람에게 직접 물어보면 됩니다!

저는 제프에게, 목소리를 내 준 그를 존경한다고, 그리고 구글이 DHS 공급망에서 손을 떼기를 바란다고 말했습니다. 그도 같은 목표를 가지고 있는지, 그렇다면 제가 어떻게 도울 수 있는지 물었습니다.

그는 몇 사람에게 이메일을 보내는 게 합리적이겠다고 했습니다. 그 사람들은 순다르 피차이(구글 CEO), 데미스 허사비스(구글 딥마인드 CEO), 토마스 쿠리안(구글 클라우드 CEO)이었습니다. 저는 생각했습니다. “그래요, 제프. 어렵지 않죠. 그냥 그분들께 제 생각을 말씀드리면 되겠네요.” 😅

제가 보낸 이메일

GDM에서 일하며 이 문제를 걱정하는 직원으로서 이 편지를 씁니다. 최근 제프 딘에게 제 걱정을 전했는데, 세 분께 직접 이메일을 보내는 것이 합리적인 다음 단계라고 하더군요.

저는 구글이 미국의 어느 정당이 이끄는 합법적인 행정부와 일하든 문제 삼지 않습니다. 제 걱정은 정치에 관한 것이 아니라, DHS 공급망 안에서 구글이 맡은 역할 때문에 가능해진 일들에 관한 것입니다.

저는 ICE가 불법 이민자를 질서 있게 국외로 내보낸다는 법적 권한을 한참 넘어섰다고 생각합니다. 감시 단체들에 따르면 ICE의 작전은 대상자에게서 적법 절차를 빼앗는 일이 잦습니다. 이 작전들은 법적 감독이 거의 (또는 전혀) 없는 시설에 시민을 예사로 구금합니다. 그런 시설 한 곳에서는 1,000명 넘는 사람이 행방불명입니다. 다른 시설들에서는 미국시민자유연맹ACLU이 인권 침해와 수감자 안전의 심각한 부재를 보고합니다.

이것은 통상적이고 정당한 법 집행 활동이 아닙니다. 이 작전들은 인권의 관점에서 우려스럽고, 관여한 모든 업체에 평판 위험이 되기도 합니다.

2026년 1월 28일, DHS는 2025년 AI 활용 사례 목록을 게시했습니다. 이 목록은 DHS의 “운영 효율을 높이는” 여러 생성형 AI 업체 가운데 하나로 구글을 꼽습니다. 저는 구글이 ICE(더 넓게는 DHS)와의 협력을 당장 멈추기를 촉구합니다. 이 특정한 작전들을 돕는 제3자 통합 업체를 지원하는 일도 포함해서입니다. 직접 계약(“주 계약”)이든 ITC 페더럴 같은 중개 업체를 거치든, 클라우드와 제미나이가 이런 작전을 돌려서는 안 됩니다.

역사는 기술 업계를 이 사건들에 얼마나 관여했는지로 심판할 것입니다. 저는 구글에서 일하는 것을 무척 좋아하고, 구글이 그 역사에서 옳은 편에 서도록 하고 싶습니다.

알렉산더 맷 터너Alexander Matt Turner

연구 과학자

그들은 끝내 답장하지 않았습니다. 저는 다시 제프에게 가서, 구글 안에서 실제 변화를 이끌어 낼 건설적인 기회를 의논하자며 점심을 청했습니다. 그에게 이렇게 말했습니다. “언제든, 어디서든 좋습니다. 마운틴뷰까지 차를 몰고 가서 뵙겠습니다.”

저는 이쯤에서 “계획 A”가 실패하리라 생각했습니다. 놀랍게도 그는 몇 주 뒤의 점심 약속을 받아들였습니다.

그 사이에 많은 일이 일어나게 됩니다.

국방부, 앤트로픽을 겁박하다

2026년 2월 25일

국방부는 최첨단 AI 연구소인 앤트로픽이 기존 계약에서 레드라인을 없애기를 바랐습니다. 치명적 자율 무기 체계와 AI를 이용한 감시·프로파일링에 반대하는 레드라인이었습니다. 최후통첩의 요지는 “제품을 내놓지 않으면 너희를 공급망 위험으로 지정하겠다”였습니다. 정부는 AI를 “모든 합법적 용도”에 쓰고 싶어 했습니다.

그런 계약에는 큰 문제가 두 가지 있었습니다.

1. 독립적인 법률 전문가들은 국방부가 저질렀을 수 있는 전쟁 범죄를 지적했습니다(난파선 생존자들을 겨냥한 이중 타격 같은 일입니다). 국방부는 그 행동들이 합법이라고 고집했습니다. 그런 식의 “합법성” 아래에서 “모든 합법적 용도”는 “전쟁 범죄를 가능하게 하는 AI”나 “AI로 반체제 인사를 자동으로 프로파일링하는 일”을 뜻할 수도 있었습니다.
2. 국방부는 민간 기업을 경제적으로 파멸시키겠다고 위협했습니다. 보통 정부라면 “됐습니다, 우리가 원하는 조건을 줄 다른 공급업체를 찾겠습니다”라고 말할 것입니다. 이번에는 정부가 미국 기업을 근거 없이⁴ “공급망 위험”으로 지정하겠다고 위협했습니다. 그렇게 되면 모든 군 납품업체가 앤트로픽 제품을 쓰지 못하게 됩니다.

저는 몇 주째 앤트로픽과 국방부의 대치를 지켜보고 있었습니다. 최후통첩 소식을 들었을 때, 저는 파리에서 열린 국제 안전·윤리 AI 협회IASEAI 학회에 와 있었습니다. IASEAI는 안전하고 윤리적인 AI를 위한 “하나의 목소리”가 되겠다며 2024년에 세워진 비영리 단체입니다. 세계적으로 유명한 AI 과학자 스튜어트 러셀이 운영위원장을 맡고 있습니다. 이 단체의 2026년 실무 그룹에는 “자율 무기와 확전”을 다루는 “고급 AI를 위한 레드라인” 그룹이 있습니다. IASEAI는 바로 이런 순간을 위해 만들어진 단체처럼 보였습니다.

IASEAI 학회장에는 윤리를 중요하게 여기는 영향력 있는 AI 전문가들이 가득할 것이었습니다. 저는 생각했습니다. 우리는 한 분야로서 함께 대응할 수 있다. 1) 파멸의 위협 없이 사업할 앤트로픽의 권리를 지지하고, 2) 치명적 자율 무기 체계와 감시 장치에 AI를 넣을지, 넣는다면 어떻게 넣을지에 관한 실제 기준을 지지하는 대응을.

앤트로픽에게는 행정부의 요구를 받아들일 시간이 이틀 남아 있었습니다. 어쩌면 다른 회사들이 마감 전에 이 “모든 합법적 용도” 조건에 동의할지도 몰랐습니다. 저를 짓누른 가장 큰 질문은 이것이었습니다. 구글이 굴복해 “모든 합법적 용도” 계약을 받아들이는 것을 내가 막을 수 있을까? 앤트로픽이 “안 됩니다”라고 하고 구글도 “안 됩니다”라고 한다면, 그때부터는 판이 달라집니다. 어려워 보였습니다. 그래도 해내고 싶었습니다. 구글은 금요일 마감 전이든 후든 언제라도 굴복할 수 있었습니다.

(사진 싣지 않음) 학회장은 유엔 교육과학문화기구UNESCO 본부였습니다. [옮긴이: 원문 사진에는 파리 유네스코 본부 정원에 학회 출입증을 걸고 선 지은이와, 그 뒤로 큰 금속 돔과 여러 나라 국기, 멀리 에펠탑이 보입니다.]

IASEAI 학회장에 도착했을 때, 저는 수백 명의 AI 전문가 가운데 몇몇은 방금 터진 긴급 AI 윤리 뉴스를 이야기하고 있으리라 기대했습니다. 그런데 저 말고는 아무도 그 이야기를 꺼내지 않았습니다. 사람들은 “공공 선택 이론은 조정 문제에 무엇을 알려 주는가?” 같은 늘 하던 추상적인 이야기로 바빴습니다.

학회에 온 AI 거물들을 움직이고 싶었다

스튜어트 러셀

IASEAI 설립자. 1,500곳이 넘는 대학에서 쓰는 표준 AI 교과서의 공저자. UC 버클리 ‘인간 친화적 AI 센터(Center for Human-Compatible AI)‘의 설립자이고, 저는 이곳에서 여러 해 여름 인턴을 했고 박사후연구원 과정도 마쳤습니다. 오랫동안 그는 AI의 실존적 위험을 진지하게 받아들인 유일한 거물 학자였습니다. 저는 그 점을 오래도록 고맙게 여겨 왔습니다.

무엇보다 그는 치명적 자율 무기를 금지하려는 국제 운동을 이끄는 인물이며, 그의 웹사이트에는 이 주제로 한 명망 있는 강연 200여 건이 올라와 있습니다. 그는 슬로터봇Slaughterbots 영상을 유엔에서 소개했습니다. 이 푸른 행성 지구에서 “모든 합법적 용도” 군사 AI 계약을 공개적으로 비판할 이유가 있는 사람이 있다면, 바로 학계를 모아 슬로터봇에 맞섰던 그 사람이었습니다.

요슈아 벤지오Yoshua Bengio

두 번째로 많이 인용되는 AI 연구자이자 튜링상(컴퓨터 과학의 노벨상 같은 상) 수상자. 2023년에 AI가 민주주의와 국가 안보에 주는 위협에 대해 미국 상원에서 증언했습니다. 막 군사 AI 응용을 AI 안전 문제와 짝지어 정리하는 연구를 지도하는 일을 마친 참이었습니다.

제프리 힌턴Geoffrey Hinton

2024년 노벨 물리학상 수상자이자 튜링상 수상자. 힌턴은 2023년에 구글을 그만두었는데, 바로 구글의 이익에 어떤 영향을 줄지 따지지 않고 AI의 위험을 경고하기 위해서였습니다. 2025년에는 이미 구글이 “군사 AI 응용에 대한 입장을 뒤집었다”고 비판했습니다. 힌턴은 바로 이런 문제에 대해 거리낌 없이 바른 말을 하려고 구글을 그만둔 사람이었습니다.

벤지오, 스튜어트와 이야기하다

저는 재빨리 정보를 모았습니다. 힌턴은 원격으로 발표하고 있었으니, 아마 벤지오나 스튜어트를 거쳐 간접적으로 닿아야 했습니다. 스튜어트는 이미 아는 사이였고, 연결해 줄 친구도 있었습니다. 벤지오가 변수였습니다. 그가 학회장을 나서는 것을 보고 저는 따라잡으려고 뛰어갔습니다.

“요슈아, 사업할 앤트로픽의 권리를 지지하고 규제받지 않는 킬러 로봇에 반대하는 성명을 내 주실 수 있을까요?” 저는 그의 목소리가 그를 존경하는 수많은 GDM 직원들에게 영향을 줄 수 있다고 설명했습니다. 국방부의 요구에 “굴복”하지 말자고 들고일어날 수도 있는 사람들이었습니다. 그는 이메일을 보내라고 했습니다.

얼마 뒤 그의 사무실에서 성명을 내지 않기로 했다고 알려 왔습니다. 왜 내지 않는지는 설명하지 않았습니다. 저는 벤지오를 개인적으로 알지 못했으니, 스튜어트 러셀에게 힘을 쏟고 그다음은 그에게 맡기는 게 낫겠다고 생각했습니다.

점심시간에 스튜어트가 누군가와 단둘이 이야기하는 것을 보았습니다. 참석자 몇 사람이 용기를 북돋아 준 덕에, 저는 약간의 사회 불안을 이겨 내고 최대한 정중하게 그 대화에 끼어들었습니다.

“스튜어트, 이건 정말 중요한 상황이고 당신의 목소리가 중요합니다.” 저는 그에게 말했습니다. “성명을 내 주실 수 있나요? IASEAI도 성명을 내게 해 주실 수 있나요? 이 회사들 안에 있는 사람들을 움직여 주실 수 있나요?” 그는 생각해 보더니 동의했습니다. 벤지오와 힌턴도 끌어들여 보겠다고 했습니다. 되도록 빨리 IASEAI 투표를 열고, 그날 늦게 있을 폐회식에서 발표하겠다고 했습니다. 그는 싸우겠다는 뜻에 단서를 달지 않았습니다.

“그래, 바로 이거야.” 저는 생각했습니다. “자기가 가진 힘을 아는 힘 있는 사람이 여기 있구나.”

스튜어트가 IASEAI를 마무리하다

AI 기업과 국방부의 계약은 중요했습니다. 현대 생성형 AI와 군사적 사용 제한이 공개적으로, 크게 주목받으며 처음 맞부딪힌 일이었기 때문입니다. 회사들이 어떤 타협(또는 항복)을 하든 그것은 선례가 되어 앞으로 계속 울려 퍼질 것이었습니다. IASEAI 참석자들에게는 자기들의 기여를 “정책 결정자에게 참고가 될지도 모르는 추상적인 작업”에서 “선례에 직접 영향을 주는 일”로 바꿀 기회가 있었습니다. 이제 스튜어트가 그들을 움직이려는 참이었습니다.

약속한 대로 그는 폐회식에서 이 문제를 이야기했습니다. 저는 질의응답 시간에 그가 한 말을 녹화했습니다. 이 영상은 원래 IASEAI의 학회 일정표에서 볼 수 있었지만, 나중에 옮겨지면서 IASEAI 공식 유튜브 채널에는 다시 올라오지 않았습니다.

제가 스튜어트에게 던진 질문(주고받은 대화 전체 영상)

국방부는 치명적 자율 무기나 대량 감시에 대한 제한 없이 클로드를 쓰려고 앤트로픽을 장악하겠다고 위협하고 있습니다. 아직 협상 중인 구글이나 오픈AI 같은 회사들에게 무슨 말씀을 하시겠습니까?

스튜어트 러셀

이 이야기를 하려던 참이었습니다. 이것은 IASEAI가 모든 회원에게 의견을 물을 가능성이 높은 주제입니다. IASEAI가 이 문제에 입장을 정하기를 바라는지 알아보려는 것이지요.

[스튜어트가 상황을 요약합니다.]

IASEAI가, 자기 소프트웨어가 사용에 동의한 계약 범위 밖의 목적에 쓰이지 않게 할 앤트로픽의 권리를 지지하는 성명을 내야 할까요?

질문은 “구글 딥마인드는요, 오픈AI는요” 하는 것이었죠. 그들도 앤트로픽과 같은 입장을 취할까요? 그건 그들에게 달린 일 같습니다. 하지만 회사가 “우리 제품을 그런 목적으로 팔고 싶지 않다”고 말할 권리, 그리고 경제적 파멸의 위협 없이 그렇게 말할 수 있는 권리. 저는 법률가는 아니지만, 그건 보호받아야 할 것 같습니다.

저는 놀랐습니다. 스튜어트는 “[같은 입장을 취하는 것은] 그들에게 달린 일 같다”고 했습니다. 구글과 오픈AI에게 치명적 자율 무기를 돌리지 말라고 권하지 않은 걸까요? 그건 지난 10년 동안 그를 대표해 온 대의가 아니었던가요?

다음 질문으로 한 참석자가 IASEAI가 현재 문제들에 대해 입장을 정할지 물었습니다. 세션이 끝나 갈 무렵, IASEAI의 임시 사무총장 마크 니츠버그Mark Nitzberg가 무대에 올랐습니다.

(영상 싣지 않음, 원본 영상) 마크가 손을 들어 의견을 보여 달라고 합니다. “회원 여러분의 의견을 묻겠습니다… 회원이 아니신 분은 회원 접수대로 가 주세요.” [옮긴이: 원문 영상 설명에 따르면 학회 연사가 청중에게 앤트로픽 관련 단체 성명에 찬성하는지 손을 들어 보라고 하고, 많은 사람이 손을 들자 회원 의견을 공식적으로 모으는 절차를 설명합니다.]

(사진 싣지 않음) 사업할 앤트로픽의 자유를 지지하는 IASEAI 성명에 찬성하며 거의 모든 사람이 손을 들었습니다.

스튜어트 러셀의 폐회 발언(영상)

많은 언론이 국방부가 앤트로픽에게 휘두르는 갈취 행각을 다루고 있습니다…

시간이 된다면 온라인 투표를 해 보려 합니다. 그래서 “IASEAI 회원의 92%(또는 결과가 어떻든)가 앤트로픽이 원하지 않는 일을 하도록 강요받아서는 안 된다는 명제에 찬성한다”는 보도 자료를 낼 수 있도록 말입니다.

스튜어트는 국방부의 행동을 “갈취 행각”이라고 불렀습니다. 그 솔직함이 고마웠습니다. 다만 강당 안의 솔직함과 세상이 보게 될 성명 속의 솔직함은 같은 것이 아니었습니다.⁵ 저는 나가면서 투표에 참여하려고 IASEAI 회원으로 가입했습니다. 통과되리라 생각했지만 제 목소리도 보태고 싶었습니다. 회비 75달러를 냈습니다.

폐회식 전에 마크는 설문이 목요일 밤에 마감된다고 문자를 보냈습니다. 3분의 2가 찬성하면 스튜어트가 IASEAI 이름으로 성명에 서명하고, 그렇지 않으면 스튜어트가 개인 자격으로 서명하고 다른 사람들도 함께 서명할 수 있게 하겠다고 했습니다.

저는 루브르에서 저녁을 보내러 떠났습니다.

국제 AI 윤리 침묵 협회

목요일 아침이 밝았습니다. 투표하는 방법이 보이지 않았습니다. 이상했습니다. 마크에게 문자를 보냈습니다. 그는 IASEAI가 앤트로픽의 금요일 마감 이후에 움직여야 할 것이라고 했습니다.

저는 마크에게 상황이 급하다고 말했습니다. 구글과 오픈AI는 언제든 움직일 수 있었습니다. 스튜어트에게 그 자신의 성명을, 어떤 성명이든 내도록 이야기해 달라고 재촉했습니다. 마크가 이 상황을 함께 풀어 보려고 도와준 것은 고마웠습니다. 그날 늦게 앤트로픽은 국방부와 맺은 기존 계약의 레드라인을 지키겠다고 밝혔습니다.

(목요일은 원래 아이슬란드로 떠나는 낭만적인 휴가의 첫날이었습니다. 저는 사실 이런 일을 하고 싶지 않았습니다.)

금요일 아침. 스튜어트는 아무런 공개 성명도 내지 않았습니다. 저는 마크에게 물었습니다. “그가 아끼는 기자에게 몇 분 들여 이메일을 쓰는 것보다 더 중요한 일이 대체 뭐가 있나요?” 마크와 이야기하면서 저는 스튜어트도 IASEAI도 움직이지 않으리라는 것을 알게 되었습니다.

그런데 문제는 이것입니다. 마크는 폐회식에서 공개적으로 IASEAI가 회원 투표를 하겠다고 약속했습니다. 마크는 사람들에게 회비를 내고 회원이 되어 투표에 참여하라고 권했습니다. 그러고 나서 IASEAI 지도부는 조용히 투표를 취소했습니다.⁶ 성명은 끝내 나오지 않았습니다.

마크는 자기 단체가 성명을 내지 않는 이유를 계속 바꿔 가며 내놓았습니다.

1. IASEAI는 성명 초안을 쓸 시간이 더 필요하므로, 금요일의 고비가 지난 뒤에 움직이겠다.
2. IASEAI는 성명을 낼 때 어떤 원칙을 근거로 삼아야 할지 모른다.
3. IASEAI는 앤트로픽과 국방부를 둘러싼 뉴스에 뛰어드는 일에 “장단점이 있다”고 걱정했다.
4. 마크는 공감했지만, 이런 상황을 다루는 IASEAI의 절차를 다듬는 데 집중하고 싶어 했다.
5. 앤트로픽이 성명을 냈으므로 IASEAI는 더 이상 성명을 낼 필요가 없었다.

첫 번째 이유는 이해할 수 있었습니다. 어쨌든 스튜어트는 마감 전 성명에 대해 “시간이 된다면”이라는 단서를 여러 번 달았으니까요. 하지만 특히 마지막 이유는 납득이 가지 않았습니다. 앤트로픽이 물러서지 않겠다는 성명을 냈으니, IASEAI는 앤트로픽을 지지하는 성명을 낼 필요가 없다는 걸까요?

IASEAI는 읽고 답하지 않았다

국방부가 금요일 마감을 정한 상대는 앤트로픽이었지 IASEAI가 아니었습니다. 앤트로픽과 자율 무기 문제는 그 전에도 몇 주 동안 뉴스에 오르내렸습니다. 앤트로픽이 국방부를 상대로 낸 소송도 그 뒤로 몇 주 동안 이어졌습니다. 구글은 그 뒤로도 두 달 동안 서명하지 않았습니다. IASEAI에게는 행동할 시간도, 행동할 방법도 넉넉했습니다. 법정 조언자 의견서를 낼 수도, 성명을 낼 수도, 구글의 고위 의사 결정자에게 연락할 수도 있었습니다.

오픈AI는 금요일에 계약을 발표했습니다. 오픈AI는 자기들의 계약이 앤트로픽이 고집한 것과 똑같이 킬러 로봇과 대량 감시에 반대하는 레드라인을 지킨다고 주장했습니다. 하지만 일부 분석가들은 오픈AI의 계약 문구에 큰 허점이 있다고 결론 내렸습니다.

그 뒤 두 달 동안 저는 마크 니츠버그에게 여러 번 메시지를 보냈습니다.⁷ 제가 구글 안의 고위 의사 결정자들을 설득하려 애쓰고 있다고, 스튜어트는 트럼프에게 공개적으로 맞서는 정치적 부담 없이 비공개로 연락할 수 있다고, 사람을 소개해 주는 것만으로도 도움이 된다고 설명했습니다.

제가 마크에게 보낸 메시지

3월 30일, 계약 체결 보도가 나오기 30일 전

IASEAI가 다른 결정을 내렸더라면 좋았겠지만, 우리가 함께 바라는 목표를 이룰 방법을 찾고 싶습니다.

마크는 끝내 답하지 않았습니다.

구글의 서명을 막으려 애쓰다

국방부의 위협을 막 알게 된 수요일로 되감아 보겠습니다. 저는 시간이 얼마나 남았는지 모르는 압박 속에서 움직이고 있었습니다. 구글이 계약에 서명해 앤트로픽의 입장을 무너뜨리기 직전인지 전혀 알 수 없었습니다. 바깥에서 벤지오와 스튜어트를 설득하는 동안, 안에서도 움직였습니다.

구글 안에서 치를 대가를 쌓다

2026년 2월 26일

저는 구글 딥마인드의 시사 토론 채널에서 구글(과 AI 업계)에게 “앤트로픽과 굳게 함께 서자”고 촉구했고, 이른바 “합법적” 용도에는 “베네수엘라 앞바다에서 150명 넘는 사람(그 대부분은 아마 죄 없는 어부였을 것입니다)을 죽인 일”도 들어갈 수 있다고 지적했습니다. 이 메시지에는 “❤️” 반응이 125개 넘게 달렸습니다.

[제 메시지] 제미나이의 “모든 합법적 용도” 정책과 앤트로픽에 대한 국방부의 압력

GDM이 기밀 용도로 제미나이를 “모든 합법적 용도”에 쓸 수 있게 하는 계약에 “가까워졌다”는 보도를 읽고 있습니다. 보도에 따르면 구글은 비기밀 업무에 대해서는 이미 “모델 수준의 제한 일부를 없앴고” 국방부 업무에 “모든 합법적 목적”을 허용하기로 했다고 합니다.

“모든 합법적 목적”의 “합법적”이라는 말이 처음에는 저도 안심이 되었습니다. 하지만 이 맥락에서 “합법적”이 무엇을 뜻하는지 생각해 보세요. 우선 지금의 국방부는 베네수엘라 앞바다에서 150명 넘는 사람(그 대부분은 아마 죄 없는 어부였을 것입니다)을 죽인 일이 합법이라고 주장했습니다.⁸ “모든 합법적 목적”에는 AI를 이용한 대량 감시와 분석(감시 관련 법들은 AI를 염두에 두고 만든 것이 아니라서 이것은 합법입니다), 그리고 치명적 자율 무기 체계를 만드는 일도 들어갑니다.

헤그세스 장관은 앤트로픽에게 금요일 오후 5시를 시한으로 최후통첩을 했습니다. 앤트로픽이 거부하면 그는 이렇게 하겠다고 위협했습니다.

1. 앤트로픽과 맺은 2억 달러 계약을 취소한다.
2. 앤트로픽을 공급망 위험으로 지정해, 다른 모든 군 납품업체가 클로드를 쓰지 못하게 한다(“공급망 위험”은 보통 문제가 생긴 외국 기업에만 쓰는 지정입니다!).
3. 국방물자생산법을 발동해 앤트로픽이 어떻게든 클로드를 내놓게 만든다.

치명적 자율 무기와 대량 [AI 프로파일링] 도구를 내놓게 하려고 연구소를 국유화하는 것은 받아들일 수 없다고 생각합니다. 업계 전체가 앤트로픽과 굳게 함께 서야 합니다. 우리의 고된 노력은 고객을 위해 제미나이를 더 낫게 만드는 데 쓰여야지, 치명적 자율 무기 체계의 능력을 벼리는 데 쓰여서는 안 됩니다.

이 주제에 대한 다른 분들의 생각이 궁금합니다. 사람이 판단 과정에 끼지 않는 공격적인 군사 용도를 요구하는 이런 바깥의 압력 앞에서도 우리의 AI 원칙이 흔들리지 않도록, 어떻게 효과적으로 목소리를 낼 수 있을까요?

저는 GDM 직원만 들어오는 토론 채널에 이런 메시지를 올리기 시작했습니다. 이 메시지들은 유난히 뜨겁고 지지하는 반응을 얻었습니다. 제가 글을 올린 이유는 여러 가지였습니다.

1. 지도부가 침묵하는 데 드는 대가를 키우고 싶었습니다. 기억하세요, 핵심은 순다르가 서명으로 얻으리라 보는 이익(트럼프 행정부의 정치적 보복을 피하는 것 같은)보다 큰 대가를 쌓는 것입니다.
2. 고위 인사들에게 전하고 싶은 전략적 논거가 자주 있었습니다. 저는 그저 연구 과학자였으니 그들에게 직접 “X를 고려해 보시죠”라고 말하는 것은 주제넘은 일이었을 것입니다. 하지만 그들 가운데 몇몇이 이 채널을 읽는다는 것을 알았기에, 저는 그냥 채널에 제 논거를 올렸습니다.
3. GDM 직원들 사이에, 이런 계약이 불편한 사람이 자기 혼자가 아니라는 것을 모두가 아는 사실로 만들고 싶었습니다.
4. 구글이 비슷하게 가짜인 “보호 장치”를 내세워 넘어가려 할 때 GDM 직원들이 속지 않도록, 오픈AI 계약에 들어 있는 “보호 장치”의 문제점을 짚었습니다. 직원들이 겉치레에 넘어가지 않는다면 구글은 사기 저하라는 더 큰 대가를 치를 것이었습니다.
5. 나중에는 몇몇 메시지가 사람들에게, 계약이 통과되면 구글을 떠나겠다는 뜻을 슬쩍 내비치면서도 어느 정도 발뺌할 여지는 남겨 두는 통로가 되어 주었습니다.

“❤️” 반응은 은근한 조직화 수단 역할도 했습니다. 제가 알기로 구글은 사람들이 큰 사내 채널을 통해 직접 조직하는 것을 탐탁지 않게 여겼습니다. 저는 누가 “❤️”로 반응했는지 적어 두었다가, 곧 이야기할 청원을 위해 그들에게 개별적으로 연락했습니다.

제프 딘, 당신이 우리의 유일한 희망입니다

저는 제프에게 “할 수 있다면 구글이 계약에 서명하지 못하게 막아 주세요”라고 DM을 한 번 더 보낼까 생각했습니다. 하지만 그건… 별 효과가 없을 것 같았습니다. “제프 같은 사람을 행동하게 만드는 건 무엇일까?” 저는 생각했습니다. 도덕적으로 걸린 것: 이미 있다. 주인 의식: 없다. 저에게는 직접적인 힘이 없었으니 이 일을 제가 주도할 수는 없었습니다. 제가 판단하기로는, 제프야말로 계약에 맞설 힘과 의지를 함께 가진 몇 안 되는 사람이었습니다. 저는 그가 힘을 얻었다고 느끼기를, 그리고 GDM 직원들이 그를 뒷받침한다는 것을 알기를 바랐습니다.

저는 제프에게 보내는 청원서를 썼고, 친구 몇 명의 도움을 받아 하루이틀 사이에 GDM과 구글 리서치에서 서명 250개쯤을 받았습니다. 저는 사람들에게 이 청원이 “비공개”이니 바깥에 공유하지 말라고 했기 때문에, 청원 전체를 여기 옮기지는 않겠습니다.⁹ 다만 뉴욕 타임스가 이 청원을 보도했으니 일부 내용¹⁰은 이미 공개되어 있습니다.

구글 직원들, 앤트로픽처럼 군사 AI에 “레드라인”을 요구하다

직원들은 이렇게 썼다. “이런 기본적인 레드라인을 넘는 계약은 무엇이든 막도록 힘닿는 데까지 모든 것을 해 주십시오. 우리는 구글에서 일하는 것을 사랑하며 우리의 일을 자랑스러워하고 싶습니다.”

제프, 앤트로픽을 지지하는 법정 조언자 의견서에 서명하다

2026년 3월 9일

국방부는 앤트로픽을 공급망 위험으로 지정하는 데 그치지 않았습니다. 피트 헤그세스(국방부 장관)는 처음에 군 납품업체들이 계약 업무에서뿐 아니라 클로드를 아예 쓰지 말아야 한다고 주장했습니다. 이는 앤트로픽의 주요 클라우드·기업 고객에게 영향을 주었고, 그래서 이 지정은 앤트로픽의 기업 매출에 치명적으로 보였습니다. 이 요구는 상당히 불법적으로 보이기도 했고, 헤그세스는 그 부분에서 물러섰습니다. (다만 헤그세스의 트윗은 앤트로픽 제품을 쓰면 벌을 받을지도 모른다는 불확실성을 기업들에게 심어 이미 피해를 주었다고 생각합니다.)

아무튼 월요일쯤, 앤트로픽은 법원에서 국방부에 맞서며 그 명령을 멈춰 달라는 가처분을 신청했습니다. 프로텍트 데모크라시Protect Democracy라는 비영리 단체가 AI 전문가들의 법정 조언자 의견서를 모았습니다. 그 의견서의 요지는 대략 이랬습니다. “전문가로서 우리는, 비록 경쟁 연구소에서 일하지만 앤트로픽의 기술적·정책적 우려가 정당하다는 데 동의한다.” 저는 이 문서에 서명했고, 동료 몇 명¹¹에게도 서명을 받았으며, (주최자 한 분의 권유로) 제프에게 연락했습니다. 그는 서명했습니다.

반가운 놀라움이었습니다. 큰 한 수였습니다. (이 무렵부터 제 친구 몇몇은 마음에 드는 일을 두고 “제프답다based and Jeff-pilled”고 말하기 시작했습니다.)

제프는 의견서에 공개적으로 서명함으로써 (최고위 임원으로서) 구글의 침묵과 공개적으로 갈라섰습니다. 예상대로 그의 서명은 주목을 받았습니다. 결국 구글과 국방부의 협상은 난관에 부딪혔는데, 그 이유 가운데 하나는 이 의견서 때문에 구글이 나중에 발을 뺄 수도 있다는 우려가 생겼기 때문이었습니다.¹²

AI 경쟁자들이 국방부의 환심을 사려 다투는 동안 느긋한 구글

나중에 실린 기사(2026년 3월 18일)

그러나 국방부 관리들 가운데 일부는 여전히 구글에 기대기를 꺼린다고, 국방부와 구글 사이의 논의를 잘 아는 두 사람이 말했다. 이 회사가 2018년에, AI를 무기에 써서는 안 된다고 주장한 직원들의 항의에 밀려 군사 계약을 포기했기 때문이라고 두 사람은 덧붙였다.

구글과 오픈AI의 최고 AI 연구자 몇 명도 최근 앤트로픽이 국방부를 상대로 낸 소송 두 건을 지지하는 법률 의견서에 서명했다. 앤트로픽은 전쟁에서 AI를 어떻게 쓸지를 두고 국방부와 충돌한 뒤 공급망 위험으로 지정되자 이에 맞서고 있다.

논의를 잘 아는 한 전직 관리는, 구글 직원들이 법률 의견서에 참여한 일이 일부 관리들의 우려를 키웠다고 말했다. 이 일이 국방부와 다른 곳의 의사 결정자들에게 AI의 무기 사용에 반대했던 과거의 항의를 떠올리게 했다는 것이다. 트럼프 행정부의 일부 관리들은 구글이 자기 AI를 폭넓게 쓰도록 동의하더라도 다시 발을 뺄 수 있다고 걱정한다고 이 전직 관리는 덧붙였다.

이 기간에 저는 구글 법무팀에 구글도 법정 조언자 의견서를 내자고 제안하는 메모를 여러 번 보냈습니다. 구글이 앤트로픽에 대한 위협을 그대로 내버려 두면, 정부는 앞으로 있을 모든 협상에서 구글에게 겨눌 총을 쥐게 된다고 일깨웠습니다. 따르든지, 아니면 공급망 위험으로 낙인찍히든지. 결국 구글은 의견서를 내지 않았습니다(하지만 마이크로소프트는 냈습니다).

고위 경영진은 구글이 굴복하지 않으리라고 장담했다

3월 내내

고위 경영진과 이야기를 나눌수록, 그들은 대략 이런 주장을 되풀이했습니다. “걱정 마세요. 지도부도 이 문제를 신경 쓰고 있어요. ‘모든 합법적 용도’ 계약에 서명하지 않을 겁니다.” 저는 그 말을 곱씹어 보았습니다. 정말 그럴까?

“아니, 그렇지 않다.” 저는 결론 내렸습니다. 누군가가 지도부가 버티도록 강제하지 않는 한 그렇지 않았습니다. 저는 구글이 굴복할 가능성이 높은 이유를 설명하는, 인용 출처가 빼곡한 메모를 썼습니다. 구글이 걸린 것이 더 작은 상황에서 순순히 따라 온 이력(시위에 참여한 학생의 정보를 자진해서 ICE에 넘긴 일 같은)을 짚었습니다. 정부 계약에서 구글이 차지하는 큰 몫을 짚었습니다. 그리고 구글 딥마인드의 AI 원칙이 아무것도 약속하지 않는 모호한 말로 무너져 내린 일을 짚었습니다. 구글이 맞닥뜨린 압력들도 검토했습니다. 구글이 독점 규제에서 엇갈린 처지에 놓여 있다는 점과, 지금의 법무부가 역사적으로 형편없는 성적을 내 왔다는 점도 포함해서였습니다.

저는 이 메모를 꽤 여러 번 공유했습니다. 제가 아는 한 이 고위 직원들을 설득하지는 못했습니다.

제프 딘과의 점심을 준비하다

2026년 3월 10일

저는 목표에 집중했습니다. 순다르를 움직여야 했습니다. 제 판단으로는 제프가 순다르를 움직일 수 있었습니다. 그렇다면 제프는 순다르를 움직이고 싶어 할까? 그는 자신이 추앙받는 회사, 그를 위해 맞춘 듯한 명예로운 자리, 인생의 4분의 1에 걸친 추억을 뒤로하고 걸어 나갈까? 한편으로, 세상의 모든 기술 기업이 제프를 데려가고 싶어 할 것이고, 그의 업적은 확고해 보였으며, 그에게는 이미 얼마인지 모를 돈이 있었고, 떠난다면 원칙을 보여 주는 일이 될 것이었습니다.

저는 제프를 조종하고 싶지 않았습니다. 걱정하는 사람 대 걱정하는 사람으로서 그를 진심으로 대하고 싶었습니다. 무의식중에 그의 심리에 맞춰 논거를 짜게 될까 봐, 그에 관한 기사는 한 편 넘게 읽지 않으려고 했을 정도입니다.

제가 보기에는 이랬습니다. 이 일로 그만두겠다는 동의를 제프에게서 받아 낼 필요는 없다. 어떤 의미에서 그는 이미 이 일로 그만두겠다고 동의했다. 그는 2018년에 서약에 서명했습니다.

치명적 자율 무기 서약

5,218명 서명

사람의 목숨을 빼앗는 결정은 결코 기계에 맡겨서는 안 된다. 이 입장에는 도덕적인 측면이 있다. 다른 이들이 책임을 지거나 아무도 책임지지 않게 될 생명을 빼앗는 결정을 기계가 내리도록 두어서는 안 된다는 것이다. 강력한 현실적 논거도 있다. 사람의 개입 없이 표적을 고르고 공격하는 치명적 자율 무기는 모든 나라와 모든 개인에게 위험할 만큼 불안정을 불러올 것이다. […]

사람의 목숨을 빼앗는 데 따르는 위험과 책임 소재와 어려움을 없앰으로써, 치명적 자율 무기는 특히 감시·데이터 체계와 연결될 때 폭력과 억압의 강력한 도구가 될 수 있다. […]

아래 서명한 우리는 정부와 정부 지도자들에게, 치명적 자율 무기에 반대하는 강력한 국제 규범과 규제와 법이 있는 미래를 만들 것을 촉구한다. 지금은 그런 것들이 없으므로, 우리는 스스로에게 높은 기준을 지우기로 한다. 우리는 치명적 자율 무기의 개발, 제조, 거래, 사용에 참여하지도 지원하지도 않을 것이다.

서명자에는 구글 딥마인드(단체), 데미스 허사비스, 셰인 레그(Shane Legg, 공동 창업자, 현재 최고 AGI 과학자), 라이아 해드셀(Raia Hadsell, 연구 부사장), 제이 야그닉(Jay Yagnik, 구글 부사장 겸 엔지니어링 펠로, 구글 AI의 큰 부분을 이끄는 사람), 그리고 두구두구두구 🥁🥁🥁 제프 딘이 있습니다.

(트윗 세 개) 제프 딘의 트윗, TopherSpiro의 트윗, 제프 딘의 답글

제프 딘은 자기 서약을 스스럼없이 다시 밝혔고, “미국인을 대량 감시하는 데 쓰는 AI”는 “[자기가] 가장 원하지 않는 것”이라는 데 동의했습니다.

저는 이렇게 추론했습니다. 제프가 “치명적 자율 무기의 개발… 사용에 참여하지도 지원하지도 않을 것”이라면, 논리적으로 구글이 “모든 합법적 용도” 계약에 서명할 경우 제프는 구글을 그만두어야 한다. 제프가 실제로 그런 일을 할 준비가 되어 있는지는 알 수 없었습니다. 저는 그럴 가능성에 대비하고 싶었습니다.

든든한 뒷배를 마련하다

제프도 우리 모두처럼 사람입니다. 사람은 강력한 존재에 홀로 맞서는 일을 두려워하기 마련입니다. 저는 제프의 무게만으로도 구글을 움직일 수 있으리라 생각했지만, 그래도 그가 지지받고 있다고 느끼기를 바랐습니다. 그 첫 번째가 제가 조직한 청원이었습니다. GDM 직원 250명 넘게 서명해, 제프에게 자기들을 위해 싸워 달라고 부탁한 청원이었습니다. 하지만 두 번째는 더 조용히 진행되었습니다.

저는 구글의 고위 직원 몇 명에게서 뒷받침을 약속받았습니다. 제프가 순다르에게 단호하게 버티겠다고 하면 자기들도 그러겠다는 신호를 보내왔습니다. 그렇지만 제가 그린 연합의 규모¹³는 한 사람, 제프였습니다. 그가 떠나면 제미나이 프로젝트가 엉망이 될 수 있으니, 제프의 영향력만으로 충분하리라 기대했습니다. 어쩌면 구글은 트럼프의 보복보다 자기 AI 프로그램을 더 신경 쓸지도 몰랐습니다.

저는 순다르가 직원들의 압력을 누그러뜨리는 데 능하다고 짐작했습니다. 그래도 이번 수는 그가 알더라도 막을 수 없는 수이기를 바랐습니다.

협상의 기술

2026년 3월 13일

제프는 맞붙어 싸우는 사람일까? 저는 데미스가 딥마인드를 위한 별도의 법적 구조를 얻으려고 순다르와 협상하려 했다는 이야기를 읽었습니다. 순다르와 무엇이든 합의하려면 씨름이 필요해 보였습니다. 끈질긴 씨름이. 게다가 순다르는 막연한 약속으로 긴장을 누그러뜨리려 할 수도 있으니, 제프에게는 구체적인 제안이 필요할 것이었습니다.

그러니까, 제프와 제가 점심을 먹으려고 마주 앉았다고 상상해 보세요. 그가 뜻을 같이한다고 상상해 보세요. 그가 순다르에게 가서 “이 계약에 서명하면 저는 구글에 남을 수 없습니다. 제가 남을 수 있게 도와주세요”라고 말한다고 상상해 보세요. 순다르가 “제프, 당신은 내게 중요한 사람이에요. 무엇이 필요하죠?”라고 묻는다고 상상해 보세요. 제프는 뭐라고 할까요? “나쁜 계약에 서명하지 마세요”라고 하면 아마 겉보기에만 덜 나쁜 나쁜 계약으로 이어질 것입니다.

계약의 기준

실제로 효과가 있을 계약 문구를 써야 했습니다.

좋은 레드라인

의심스러운 용도(사람의 통제 없는 자율 표적 선정, 대상을 정하지 않은 프로파일링)는 막으면서 미사일 방어처럼 믿을 만한 용도는 허용해야 합니다. 앤트로픽의 레드라인에 대한 법률 분석에서 지적된 약점은 피해야 합니다.

튼튼한 레드라인

클라우드 사업부는 어떤 허점으로든 계약을 밀어붙일 것이고, 구글 법무팀이 제 초안을 더 촘촘하게 다듬어 줄 것 같지도 않았으며, 국방부는 아예 조건을 원하지 않을 것이었습니다. 문구는 압력 속에서도 버텨야 했고, 감사는 기밀과 작전 보안을 존중하는 방식이어야 했습니다.

최소한의 신뢰 가정

저는 최고 과학자를 다른 모든 것이 거기에 매달리는 단 하나의 신뢰 근원으로 삼았습니다(어차피 저는 모든 것을 제프에게 걸고 있었으니까요). 최고 과학자가 계약에 대해 조언할 검토 기구에 사람을 앉힙니다.

투명성을 통한 책임

검토 기구는 제프와 순다르에게 비공개로 조언만 하지만, 그 조언을 무시하면 모든 AI 직원에게 공개되는 연례 투명성 보고서에 드러납니다. 기구를 해산하려면 미리 알려야 하고, 해결되지 않은 위반 판정을 정확히 공개해야 합니다. 저는 이 기구가 구글의 2018년 원칙처럼 조용히 이빨이 뽑히지 않도록 공을 들였습니다.

반대하는 이해관계자의 고통을 최소로

클라우드 사업부에 7석 가운데 2석을 주었고, 직원은 자기가 맡은 계약에서만 빠지게 했으며, 지연은 최대 10일로 묶었고, 심의 내용은 변호사·의뢰인 비밀 유지 특권으로 보호했습니다.

저는 협상 단계도 고려했습니다. 상대방은 무언가에 반대할 것이고, 저는 그 무언가가 핵심을 떠받치는 부분이 아니기를 바랐습니다. 그래서 “검토 기구는 압도적 다수결로 알파벳 이사회에 안건을 올릴 수 있다”처럼, 협상에서 내주려고 넣은 덜 중요한 조항들을 함께 넣었습니다.

내가 만든 프레임워크

저는 개인 시간에(휴가를 내서) 좋은 출발점이 될 문구를 만들었습니다. “좋은 출발점”이 될 자료를 25쪽 분량으로 썼습니다. 이 프레임워크는 클라우드와 AI를 함께 제공하는 어느 업체에나 쓸 수 있는 일반적인 형태로 제 사이트에 공개해 두었습니다.

군사 AI를 위한 레드라인과 감독 프레임워크 발췌

저는 이것을 줄여서 “프레임워크”라고 부르기도 합니다.

이 프레임워크는 회사가 강제력을 행사하는 정부 기관에 제공하는 AI에 대해, 범위를 좁게 정한 두 가지 기준을 제안한다.

1. 표적 선정과 무력 사용에 대한 사람의 통제. 회사의 AI는, 각 교전마다 적절한 사람의 통제 없이 표적을 고르고 무력으로 공격하는 체계에 쓰이지 않는다. 이는 용도별로 하나하나 평가한다. 회사가 표적 선정 체계를 직접 제공하든, 표적 선정 파이프라인 안의 AI 구성 요소만 제공하든 똑같이 적용된다. 체계가 어떻게 합법적으로 배치될지에 대한 법적 투명성을 요구할 권리가 포함되며, 준수 여부는 양측이 합의한 중립적 감사인이 검증한다. 탄약을 막는 방어 체계, 기준 2를 따르는 정보 분석, 병참, 연구 개발은 제한하지 않는다.

2. 대상을 정하지 않은 AI 프로파일링 금지. 회사의 AI는, 이미 구체적으로 특정된 조사 대상이 아닌 사람들에 대해 대량의 데이터를 개인별 정보로 바꾸지 않는다. 국적과 상관없이 모든 사람에 대해, AI의 도움을 받은 개인별 분석은 지키려는 안보 이익에 비례해야 하고, 인구 통계적 특성이나 정치적 표현만을 근거로 시작될 수 없으며, AI가 만든 결과물이 개인별 조사를 시작하는 유일한 근거가 되어서는 안 된다. 미국 안에 있는 모든 사람에게는 신분과 상관없이 더 강한 보호를 적용한다. 특정된 대상에 대한 표적 분석, 집계 연구, 그리고 비전투원 보호를 개선하는 분쟁 지역 분석은 허용한다.

연례 내부 보고서를 통한 투명성: 최고 과학자가 임명하고 최고 과학자에게 보고하는, 고위 직원 일곱 명으로 이루어진 자문 기구인 국방 AI 검토 기구를 둔다.

앞으로 제정될 법이 우선한다: 의회가 이런 용도를 규율하는 실질적인 법을 통과시키면, 최고 과학자와 검토 기구는 (압도적 다수결로) 두 기준 가운데 하나 또는 둘 다를 폐지할 수 있다.

회사는 “모든 합법적 용도”를 기준으로 받아들이지 않는다. “모든 합법적 용도”라는 문구를 요구받으면, 회사는 의도된 용도의 합법성을 뒷받침하는 법률 검토서를 볼 수 있게 해 달라고 요구한다. 그 투명성이 있어야 회사는 각 용도를 자기 기준에 비추어 평가할 정보를 얻는다. 어떤 용도는 회사의 기준을 충족할 것이다. 어떤 용도는 그러지 못할 것이다. 충족하지 못하는 용도는 회사가 거절한다.

TomSmith의 도움으로 저는 군사법과 감시법 전문가들에게서 의견을 받았습니다. 특히 사람과 AI를 결합한 전투 수행 분야의 최고 법률 전문가 한 분에게서 의견을 받았습니다. 그분은 제 프레임워크가 “사실 꽤 괜찮다”고 했습니다 :) 고칠 점도 제안해 주었습니다.

제프와의 점심

2026년 3월 17일

(사진 싣지 않음) [옮긴이: 원문 사진은 용의 비늘 같은 거대한 지붕으로 유명한 마운틴뷰의 구글 그레이디언트 캐노피Gradient Canopy 건물을 하늘에서 내려다본 모습입니다.]

친구가 저를 마운틴뷰까지 태워다 주어 제프를 만나러 갔습니다. 빳빳한 셔츠에 정장 바지를 입고 그레이디언트 캐노피 사무실을 걸어서 지나갔습니다. 가방에는 프레임워크가 들어 있었고, 머릿속에는 질문 하나가 있었습니다. “제프는 무엇을 하고 싶어 할까, 하고 싶은 게 있기는 할까?” 제가 만나게 될 사람은 투사일까? 방관자일까? 전략가일까?

한 달 전 저는 구글의 계약 상황을 더 윤리적으로 만들 “건설적인 선택지”를 의논하자며 이 점심을 청했습니다. 그에게도 자기 나름의 계획이 있을까? 분명 있을 수 있었습니다. 그는 저보다 훨씬 많은 것을 보고 겪었으니까요. 저는 더 많은 정보로 짠 더 나은 계획이 있다면 제 프레임워크는 제쳐 두고 그 계획을 따를 준비를 했습니다. 크게 상관없었습니다. 순다르가 제 프레임워크를 받아들인다 해도 제 공으로 인정받을 가능성이 낮다는 것을 알았습니다. 그게 조금 서운하긴 했지만, 저는 일이 되기를 바랐습니다.

저는 캘리포니아의 햇살 아래에서 제프와 점심을 먹었습니다. 제프에게 검토 기구를 맡아 달라고 제안했지만, 그는 그 생각을 받아들이지 않았습니다. 그 밖의 점심 자리 이야기는 하지 않겠습니다. 저는 그의 공개된 행동만 가리킬 수 있습니다. 그는 트윗을 했고, 앤트로픽을 지지하는 법정 조언자 의견서에 서명했습니다. 구글은 나중에 계약에 서명했습니다. 제프는 서약을 하고도 여전히 구글에 있습니다.

영향을 줄 다른 길을 찾다

이렇게 되리라 예상했습니다. 다만 시도해 볼 만큼은 승산이 있다고 판단했을 뿐입니다. 검토 기구를 밀어 줄 제프가 없으니 성공 가능성은 크게 떨어졌습니다. 그래도 얻을 수 있는 이익이 크니 계속 애쓸 가치가 있다고 생각했습니다. 위로 올릴 다른 뻔한 경로는 데미스 허사비스였습니다.

2014년, 구글은 딥마인드를 인수하면서 그 AI를 군사나 무기 목적으로는 절대 쓰지 않겠다고 명시적으로 약속했습니다. 2018년에는 딥마인드 공동 창업자 전원(데미스를 포함해)이 FLI의 치명적 자율 무기 서약에 서명했고, 구글 딥마인드도 단체로서 서명했습니다.

데미스는 앞으로 딥마인드가 만들 AGI가 구글의 이윤 동기에 묶이지 않도록 이미 순다르와 싸운 적이 있었습니다(결국 지긴 했지만요). 저는 생각했습니다. “데미스가 이 일로 그만두지는 않겠지. 하지만 그가 밀어붙이면 투명성 장치 몇 가지는 얻어 낼 수도 있어.” 저는 어색하지 않게 제 제안서를 데미스 앞에 가져다 놓을 방법을 찾아 나섰습니다. 제프라면 아무 문제 없이 보낼 수 있었겠지만, 저는 다른 길을 찾아야 했습니다.

찾아보았습니다. 계약을 막으려고 진짜로 앞장서서 열심히 일하는 고위 인사가 한 사람 있다는 것은 알게 되었습니다. 그 점은 고마웠습니다. 하지만 제가 아는 사람은 그 한 명뿐이었습니다.

아무튼 일주일 동안 관리 라인을 따라 위로 올려 보려다가, 저는 그냥 어색한 길로 가기로 했습니다.

아무도 답하지 않으니, CEO에게 바로 DM을 보내면 어떨까?

2026년 4월 1일

현실적으로 일어날 수 있는 최악의 일이 뭘까요? 제 생각에는 그가 “적절하지 않네요, 다음부터는 관리자를 통해 보내세요”라고 하는 정도일 것 같았습니다. 그러든가 말든가.

제가 데미스에게 보낸 메시지

데미스, 구글의 군사 AI 감독을 위한 프레임워크 초안을 썼습니다. 후보 기준 두 가지도 함께 담았습니다(따로따로 검토할 수 있습니다). 사람과 AI를 결합한 전투 수행 분야의 최고 법률 전문가 한 분이 이 프레임워크가 “사실 꽤 괜찮다”고 했습니다. 감독은 자문 성격이며, 국방 AI 배치에 대해 독립적인 기술적·윤리적 평가를 제공합니다.

데미스는 GDM 정책 부서에서 일하는 고위 인사 두 명에게 프레임워크를 평가받으라고 했습니다. 저는 그들에게 보냈습니다. 그들은 메시지를 읽고 답하지 않았습니다.

내 프레임워크는 평가받지 못했다

바쁜 사람들이 바빴던 것뿐일지도 모릅니다. 며칠 뒤 저는 그들에게 다시 연락했습니다. 한 사람은 자기 밑의 직원 몇 명과 이야기해 보라고 했습니다. 일주일쯤 지나 그 직원들과 이야기했습니다. 그들은 프레임워크에 들떠 보였지만, 몇 달은 지나야 답을 들을 수 있을 거라고 했습니다. 시간 압박에는 맞지 않는 이야기였습니다.

저는 다음 단계를 의논하려고 고위 정책 담당자들에게 돌아갔습니다. 한 사람은 상황이 진행되는 대로 새 소식을 가지고 다시 찾아오라고 했습니다. 며칠 뒤 저는 조심스럽게 반론을 폈습니다. 우리가 맞닥뜨린 시한은 알 수 없지만 짧을 수 있다고 설명하면서, 국방부의 1월 9일 메모를 근거로 들었습니다. 이 메모는 모든 AI 납품업체에게 “모든 합법적 용도” 계약을 받아들이라며 180일의 기한(7월 8일까지)을 주었습니다.¹⁴ 저는 대략 이렇게 말했습니다. “데미스가 프레임워크를 다시 볼 필요가 없다고 생각하신다면 그래도 괜찮습니다. 다만 어느 쪽이든 판단은 내려 주셨으면 합니다.” 프레임워크에 대해 궁금한 점이 있다면 답하러 샌프란시스코에서 런던까지 날아가겠다고까지 했습니다.

그들은 메시지를 읽고 답하지 않았습니다.

저는 지금도 무슨 일이 있었는지 모릅니다. 어쨌든 회사 CEO가 평가해 보라고 한 일이었습니다. 그들이 저를 논의에 끼워 주리라고 기대하지는 않았지만, “고맙습니다, 제 평가는 데미스에게 전하겠습니다” 정도의 답은 기대했습니다. 제가 모르는 정당한 사정이 있었을 수도 있습니다. 어쨌든 저는 이 과정이 마음에 들지 않습니다.

구글이 조용히 계약에 서명하다

2026년 4월 27일 보도

그 전 주말, 저는 심상치 않은 소문을 들었습니다. 저는 600명 넘는 다른 직원들과 함께 순다르에게 기밀 AI 계약을 거절해 달라는 서한에 서명했습니다.¹⁵ 저는 제프에게, 보고 라인과 관료 절차를 넘어 비공식적으로라도 그가 원하는 일을 무엇이든 해낼 수 있게 도울 방법이 있는지 물었습니다. 그가 현명하다고 생각하는 일이라면 무엇이든, 주말 내내 기꺼이 일하겠다고 했습니다. 하지만 소용없었습니다.

구글, 국방부와 기밀 AI 계약 체결

이 계약으로 국방부는 구글의 AI를 “모든 합법적인 정부 목적”에 쓸 수 있게 된다.

구글은 계약에 따라 정부가 요청하면 회사의 AI 안전 설정과 필터를 조정하는 일을 도와야 한다…

계약에는 “양측은 AI 시스템이 적절한 사람의 감독과 통제 없이 국내 대량 감시나 자율 무기(표적 선정 포함)를 위한 것이 아니며, 그런 용도로 쓰여서도 안 된다는 데 동의한다”는 문구가 들어 있다.

그러나 계약은 또한 구글에게 정부의 합법적인 작전상 의사 결정을 통제하거나 거부할 권리를 주지 않는다고 명시한다.

저는 밤 11시 45분에 시그널Signal 단체방에서 소식을 들었습니다. 구글은 회사 안에 계약을 발표한 적이 없습니다. 놀라웠던 것은 구글이 서명했다는 사실이 아니라, 계약이 윤리적 우려에 겨우 시늉만 했다는 점이었습니다. “쓰여서도 안 된다”는 문구는 구속력이 없습니다.

(트윗) 지은이의 트윗

저는 이 분야 최고의 안전·윤리 단체(IASEAI)를 찾아갔습니다. 가장 저명한 AI 과학자들(벤지오와 스튜어트)에게 부탁했습니다. 구글에서 가장 거침없이 목소리를 내는 임원(제프)을 위해 연합과 계획을 만들었습니다. 심지어 우리 회사 CEO(데미스)에게 다짜고짜 메시지를 보내기까지 했는데, 그의 측근들은 제안서를 끝내 평가하지 않았습니다. 제프 말고는 누구도 계약을 막으려고 눈에 보이는 행동을 전혀 하지 않았습니다. 그리고 계약에는 구속력 있는 조항이 하나도 없습니다. 제프가 떠나겠다고 위협하지 않았다면 예상할 만한 결과입니다.

계약은 체결되었습니다.

그런데 구글은 드론 사업 입찰에서는 빠지지 않았나?

구글, 다음 단계에 오른 뒤 국방부 드론 군집 경연에서 빠지다

사안을 보고받은 사람들에 따르면, 구글은 음성으로 조종하는 자율 드론 군집 기술을 만드는 1억 달러 규모의 국방부 상금 경연에서 통과 명단에 든 뒤 갑자기 빠졌다.

사안을 보고받은 또 다른 사람에 따르면, 구글은 제안서를 낸 지 몇 주 뒤인 2월 11일에 드론 군집을 통제하는 데 필요한 기술을 만들려는 이 사업에 더는 참여하지 않겠다고 정부에 알렸다. 블룸버그 뉴스가 검토한, 이 결정을 언급한 기록에 따르면 이 결정은 내부 윤리 검토에 따른 것이었다. 기록에 따르면 알파벳의 구글은 경연에서 빠지면서 공식적으로는 “인력과 자원” 부족을 이유로 들었다.

구글에게는 적어도 가끔, 일부 프로젝트에 대해서는 실제로 물어뜯는 이빨을 가진 윤리 검토가 있기는 한 모양입니다. 좋은 일입니다.

하지만 그렇다고 계약에 서명한 구글의 결정이 면죄부를 받지는 않습니다. 너그럽게 보아, 구글에게 특히 무기에 쓰일 것이 뻔한 계약은 언제나 막는 절차가 있다고 해 봅시다.

곧 다루겠지만, 구글의 기준은 “이익이 해악보다 상당히 클 것”인 듯합니다. 그런데 구글이 제미나이가 어떤 “합법적 목적”에 쓰일지 알 수 없다면 어떻게 그 무게를 잴 수 있을까요? “모든 합법적 용도” 계약 아래에서는 제프나 데미스처럼 윤리를 신경 쓰는 직원들을 불편하게 만들 경고가 더는 하나도 오지 않습니다.

정부가 구글에 전화를 걸어 “제미나이를 살상 체계kill chain에 넣어 사람들을 폭격했다”고 말해 주지는 않을 것입니다. 마찬가지로 앤트로픽 CEO도 이란의 여학교 폭격에서 클로드가 어떤 역할을 했는지, 역할이 있기는 했는지 아직도 모릅니다. 앤트로픽조차 모릅니다. 그리고 앤트로픽은 계약 투명성에 대해 구글보다 훨씬 큰 의지를 공개적으로 보여 왔습니다.

데미스는 구글의 AI 원칙이 “바뀌지 않았다”고 고집한다

구글 딥마인드 CEO 데미스 허사비스가 말하는 군사 AI, 그리고 AGI가 인류에게 뜻할 수 있는 것

기자: 2014년 구글이 딥마인드를 인수할 때, 당신은 구글이 당신들의 기술을 군사 목적으로 쓰지 않는다는 계약에 서명했습니다. 그 뒤 조직이 재편되었고, 지금은 딥마인드 기술이 미국과 이스라엘을 비롯한 여러 나라 군대에 팔리고 있습니다. 당신은 AGI 개발의 엄청난 이점을 이야기해 왔습니다. 그 기술을 만들 기회를 얻으려고 그 부분에서 타협했다고 느끼십니까?

데미스: 아니요, 그렇게 생각하지 않습니다. 최근에 세계 곳곳의 훨씬 커진 지정학적 불확실성을 어느 정도 반영해서 내용을 갱신했다고 생각합니다. 안타깝게도 세상은 훨씬 더 위험한 곳이 되었습니다. 이제는 민주적 가치가 이기리라고 당연하게 여길 수 없다고 생각합니다. 전혀 분명하지 않습니다. 심각한 위협들이 있습니다.

그래서 저는 우리가 정부와 함께 일해야 한다고 생각합니다. 또 정부와 일하면 은행, 의료처럼 규제를 받는 다른 중요한 산업과도 함께 일할 수 있습니다. 우리 원칙은 하나도 바뀌지 않았습니다. 우리 원칙의 근본은 언제나 이것이었습니다. 이익을 신중하게 따져 보아야 하고, 그 이익이 해를 끼칠 위험보다 상당히 커야 한다. 그러니 우리가 하려는 어떤 일에든 높은 기준입니다. 물론 국제법과 인권을 존중해야 하고, 그것도 모두 여전히 들어 있습니다.

특히 그는 이렇게 말합니다.

우리 원칙의 근본은 언제나 이것이었습니다. 이익을 신중하게 따져 보아야 하고, 그 이익이 해를 끼칠 위험보다 상당히 커야 한다.

그건 원칙이 아닙니다. 원칙이란, 나중에 이익이 해악보다 커 보이는 때조차도 스스로를 설득해 빠져나가지 못하도록 미리 약속해 두는 것입니다. “보고 나서 정하겠다”는 “원칙”은 어길 수조차 없습니다.

구글의 원래 2018년 AI 원칙은 구글이 특정한 용도를 돕지 않겠다고 약속했고, 그 결과 구글은 2018년에 100억 달러 규모 계약의 입찰을 포기했습니다. 이 원칙에는 “우리가 추구하지 않을 응용”이라는 절이 있었는데, 거기에는 구글이 “사람에게 해를 입히거나 이를 직접 돕는 것이 주된 목적이거나 주된 쓰임인” 무기를 위한 AI도, “국제적으로 받아들여지는 규범을 어기는” 감시를 위한 AI도 설계하거나 배치하지 않겠다고 적혀 있었습니다.

2025년 2월 4일, 데미스는 이 원칙의 개정을 알리는 글을 공동으로 썼습니다. 개정된 원칙에서는 무기와 감시에 대한 금지가 빠졌습니다.

다음 두 문장을 생각해 보세요. “데미스는 구글의 AI 원칙에서 금지 조항을 뺐다.” 그리고 “우리 원칙은 하나도 바뀌지 않았다.” 둘 다 참일 수는 없습니다.

데미스는 GDM 직원들이 자신을 믿고, 딥마인드에 충분히 튼튼한 검토 절차가 있다고 믿기를 바랐습니다. 하지만 구글의 AI 원칙은 구글이 하지 않을 일들을 분명히 적어 두었고, 그는 그 금지 조항들을 뺐고, 끝으로 우리에게 아무것도 바뀌지 않았다고 말했습니다.

마지막 근무일에 저는 토론 채널에서 이 모순을 짚었습니다. 많은 GDM 직원이 실망을 드러냈습니다.

트럼프의 요구를 모두 들어주지 않고도 “서구 민주주의 국가들과 협력해” “중국을 이길” 수 있다

AI 업계의 지도자가 “서구 민주주의 국가들과 협력해야 한다”고 말한다면, 그건 나쁜 일을 하고 있다는 신호입니다.

데미스는 민주적 가치가 이기도록 하려면 “[구글이] 정부와 함께 일해야 한다”며 GDM의 무기 금지 약속을 깬 일을 정당화했습니다. 저는 이것이 거짓 양자택일을 들이민다고 생각합니다. 왜 그런지 보려고, 그 세계관을 통째로 받아들여 봅시다. 미국이 자율 무기를 도입하지 않으면 세계를 권위주의에 빼앗긴다, 우크라이나가 무너지고 자유가 무너지고 붉은 물결이 모든 것을 삼킨다. 그렇게 강한 가정을 하더라도 “국방부가 요구하는 대로 내준다”가 세상을 위한 최선의 행동은 아닐 수 있습니다. 이를테면 구글이 자기 제품을 어떤 용도에 내줄지 제한하는 거버넌스 프레임워크를 만들 수 있습니다. 그러면 구글은 비윤리적인 용도는 빼고 윤리적인 용도(“중국을 이기는” 데 필요한)만 제공할 수 있습니다.

설령 구글이 서명할 수밖에 없었다 해도, 그 막대한 영향력을 써서 의회에 법적 안전장치를 만들도록 로비할 수는 있었습니다. 굴복은 선택이었습니다.

세상을 바꿀 기술을 개인적 신뢰 위에 짓다

저는 데미스를 까다로운 회사 구조 속에서 최선을 다하는 조용하고 사려 깊은 사람으로 여기곤 했습니다. 다시 데미스가 구글 딥마인드를 떼어 내려다 실패한 이야기로 돌아가 보겠습니다.

무한 기계: 데미스 허사비스, 딥마인드, 그리고 초지능을 향한 탐구

“구글과 협상할 때 우리는 신뢰가 필요 없는 방식으로 안전을 보장하고 싶었습니다.” 허사비스가 말했다. “현실에서는 그게 사실 무척 어렵습니다.

“안전은 거버넌스 구조에 달린 문제가 아닙니다.” 그가 말을 이었다. “그러니까, 거버넌스 이사회가 있다 해도 정작 결정적인 순간이 오면 아마 옳은 일을 하지 않을 겁니다.

“안전 헌장도 마찬가지입니다. 협상해서 만들어 볼 수는 있죠. 하지만 몇 년 앞서 분명한 선을 긋는 원칙을 만드는 건 현실적이지 않습니다. 아마 엉뚱한 곳에 선을 긋게 될 테니까요. […]

“그래서 생각했습니다. 반대로 가 보면 어떨까? 신뢰가 필요 없는 협상에 쏟던 힘을 진짜 신뢰, 실제로 쓸모 있는 신뢰를 쌓는 데 쏟자. 구글에서 몸을 빼기보다 구글 쪽으로 몸을 기울여 보자.

“그러면 물론 두 가지 일이 일어납니다. 첫째, 이제 당신은 테이블에 앉아 있으니 안전 문제가 생기면 그 결정을 거들 수 있습니다. 둘째, 구글 사람들을 알게 되고 함께 성공을 쌓아 갑니다. 신뢰는 말로만 할 수 있는 게 아닙니다. 얻어 내야 합니다.

“그리고 저에게는, 어쩌면 무스타파에게도, 이건 우리가 성장하는 과정이었다고 생각합니다.” 허사비스가 곱씹듯 말했다. “우리는 그 협상을 거치며 성숙해졌습니다. 세상일은 흑백으로 나뉘지 않습니다. 결과를 알 수 없는 기술을 다룰 때는 더욱 그렇습니다.

“그러니 적응할 줄 알아야 합니다. 이상주의자에서 현실주의자로 옮겨 가야 합니다. 다만 바라건대 여전히 자기 가치를 지닌 채로요.”

데미스는 신뢰가 필요 없는 구조를 경계합니다. 저는 그게 거꾸로라고 생각합니다. 체계가 요구하는 신뢰의 양은 줄이려고 애써야 합니다. 제가 제안한 프레임워크는 단 하나의 신뢰 가정, 곧 최고 과학자가 검토 기구를 세울 때까지만이라도 합리적이리라는 가정 위에 서 있습니다. 그다음에는 투명성과 계약을 통해 근거 있는 신뢰를 만들어 냅니다. 비윤리적인 계약을 막는 것이 아니라 마찰을 더하는 방식입니다. 데미스의 반론은 거버넌스 이사회가 “정작 결정적인 순간이 오면 아마 옳은 일을 하지 않을 것”이라는 것입니다. 맞는 말입니다. 하지만 테이블에 앉은 한 사람도 똑같은 결정적 순간에 놓이며, 그때는 투명성도 없고 유인은 더 나쁩니다. 지분, 동료들과의 사회적 유대, 회사와 얽힌 자기 이미지가 있으니까요.

그리고 데미스가 어떻게 이 철학에 이르렀는지 보세요. 그는 딥마인드를 반쯤 독립적인 이사회 아래 구글에서 떼어 내, 신뢰가 덜 필요한 구조를 만들려고 했습니다. 순다르가 거부했습니다. 그제야 데미스는 답이 상호 신뢰와 테이블의 자리라고 결론 내렸습니다.

구글에서 몸을 빼기보다 구글 쪽으로 몸을 기울여 보자.

그러면 물론 두 가지 일이 일어납니다. 첫째, 이제 당신은 테이블에 앉아 있으니 안전 문제가 생기면 그 결정을 거들 수 있습니다. 둘째, 구글 사람들을 알게 되고 함께 성공을 쌓아 갑니다. 신뢰는 말로만 할 수 있는 게 아닙니다. 얻어 내야 합니다.

그렇다면 그의 자리는 무엇을 만들어 냈을까요? 데미스는 이 글에 나오는 모든 계약에서 테이블에 앉아 있었습니다. 기밀 계약은 윤리적 우려를 제기한 직원들에게 구속력 있는 양보를 단 하나도 하지 않았습니다. 어쩌면 그가 있었기에 더 나쁜 일을 피했을지도 모릅니다. 하지만 구글의 조건은 제가 상상할 수 있던 범위의 거의 바닥이었습니다. 윤리 관련 조건은 구속력이 없고, 그래서 오픈AI의 것보다도 약합니다. 그의 자리가 그가 말하는 만큼의 값어치가 있다면, 내보일 만한 성과가 더 있어야 할 것입니다.¹⁶

돌아보며

구글 딥마인드는 거버넌스의 실험이었습니다. 공동 창업자들은 자기 기술을 결코 무기에 쓰지 않겠다는 약속을 받고 구글에 회사를 팔았고, 반쯤 독립적인 거버넌스 구조를 얻으려고 싸웠습니다. 순다르는 이를 거부했습니다. 구글의 2018년 AI 원칙은 직원들의 압력으로 생겨났지만, 나중에 지도부가 조용히 이빨을 뽑았습니다.

GDM 실험의 결과는 이렇습니다. 실패했습니다.

구글 딥마인드에서 이윤과 압력이 윤리적 약속과 맞부딪혔을 때, 압력이 이기고 윤리가 졌습니다. 앤트로픽에서 이윤과 압력이 윤리적 약속과 맞부딪혔을 때는 윤리가 이겼습니다. 그러니 교훈은 “아무도 결코 굳건히 서지 않는다”가 아닙니다. 교훈은, 사회가 윤리적 동기를 가진 사람들이 버텨 주리라고 기댈 수는 없다는 것입니다.

다른 선택지들이 그리 좋아 보이지 않는다는 건 압니다. 의회는 여전히 구석에 놓인 화분처럼 가만히 있습니다. 하지만 적어도 테이블의 자리가 통한다고 스스로에게 말하는 일은 그만두어야 합니다.

서약에 서명한 사람이 어떻게 GDM에 남을 수 있는가?

제프 딘, 데미스 허사비스, 셰인 레그, 그리고 다른 고위 직원들은 “치명적 자율 무기의 개발, 제조, 거래, 사용에 참여하지도 지원하지도 않겠다”고 서약했습니다. 구글은 기밀 계약에 서명했는데도 그들은 남아 있습니다.

이렇게 변호할 수도 있습니다. “계약은 그저 자율 무기를 금지하지 않을 뿐이다. 그건 자율 무기를 적극적으로 지원하는 것과 같지 않다.” 구글의 계약은 걱정하는 서약자에게서 확실성을 빼앗아 갔습니다. 하지만 눈가리개를 썼다고 책임이 사라지지는 않습니다.

여러분의 회사는 세계 최고의 AI를 만들어, 치명적 자율 무기에 AI를 쓰고 싶어 하는¹⁷ 군대에 공급하려 하고 있습니다. 여러분의 회사는 용도를 제한할 능력을 계약서에 서명하며 내주었습니다. 여러분은 남아서 그 AI를 계속 만들기로 했습니다.

제 눈에는 그게 “치명적 자율 무기의 개발을 지원하는 것”과 지독하게 닮아 보입니다.

서약에 서명한 사람은 어떻게 해야 할까요? 저는 정직한 선택지가 세 가지라고 봅니다. 남는 것이 어떻게 서약과 어긋나지 않는지 공개적으로 설명하거나, 더는 그 서약을 지키지 않는다고 그 이유와 함께 분명히 말하거나, 그만두는 것입니다.¹⁸ 서약을 내건 채 아무 말도 하지 않는 것은 그 가운데 하나가 아닙니다.

제프 딘은 나중에 구글을 떠나 자기 서약을 지켰습니다

2026년 8월 5일(이 글을 올리고 몇 주 뒤)

순다르는 그를 붙잡으려 했습니다.

구글 최고의 AI 두뇌 4명이 떠나 자기들의 AI 스타트업을 세운다

딘에 따르면, 알파벳 CEO 순다르 피차이는 여러 번 만나며 이들이 사원증을 내려놓지 않게 하려 했다. 하지만 팀은 결국 스타트업을 하는 재미와 자유를 원한다고 결정했다.

그가 국방부 계약 때문에 떠났다는 공개 정보는 없습니다. 그래도 저는 제프가 떠나 2018년의 서약을 지킨 것은 잘된 일이라고 생각합니다.

테이블의 자리를 지킨다는 것

그래도 GDM 직원들은 남아서 좋은 방향으로 계속 키를 잡아야 하지 않을까요? 여기에 저는 반문할 수밖에 없습니다. “무슨 키를요?” 이번 계약은 구글의 제미나이 프로젝트가 앞으로 마주할 레드라인 가운데 가장 분명한 것이었을지도 모릅니다. 그런데도 계약은 윤리를 걱정하는 직원들에게 아무것도 양보하지 않은 채 나왔습니다. 그들의 “테이블의 자리”가 이런 상황에서 구속력 있는 조항 하나 만들어 내지 못했다면, 대체 언제 만들어 낼 수 있을까요?

게다가 서약의 값어치는 그 뒤에 있는 신뢰도만큼입니다. 누군가 “나는 치명적 자율 무기의 개발을 지원하지 않겠다”고 서명해 놓고, 자기 회사가 바로 그것을 원하는 군대에 제한 없는 AI를 파는 동안 남아 있다면, 그는 모든 상대방에게 한 가지 교훈을 가르치는 셈입니다. 이 안전 쪽 사람들은 자기들이 그은 가장 선명한 선 앞에서도 행동하지 않는다는 교훈입니다. 그들이 다음에 하는 약속은 값어치가 줄어듭니다. 결국에는 아무 값어치도 없게 됩니다.

윤리의 무게

책임은 어디에 있을까요? AI 기업들을 겁박한 피트 헤그세스와 도널드 트럼프일까요? 계약에 서명한 순다르 피차이일까요? 그 영향력이 계약에 아무 흔적도 남기지 못한 제프 딘일까요? 책임은 이들에게 고르지 않게 나뉩니다. 하지만 제 관심은 윤리적 약속을 밝힌 사람들에게 머뭅니다.

피트 헤그세스라면 적어도 무엇을 얻게 될지는 압니다. “피트를 설득해 전쟁 범죄 명령을 그만두게 하자”는 쓸 수 있는 전략이 아닙니다. 하지만 윤리를 이야기하는 이 고위 AI 전문가들 거의 모두가 한결같이 아무것도 하지 않은 데에는 유난히 실망하게 됩니다.

그들은 왜 아무것도 하지 않기로 했을까요? 답이 깔끔하고 단순해 보이지는 않지만, 답의 일부는 트럼프 행정부에 대한 두려움이라고 생각합니다.

제프리 힌턴과의 긴 인터뷰

2025년 4월 26일

기자: 구글이 군사 AI를 쓰지 않겠다는 약속을 뒤집었을 때 실망하셨나요?

힌턴: 무척 실망했습니다. 특히 세르게이 브린이 AI의 군사적 사용을 좋아하지 않았다는 걸 알고 있었으니까요.

기자: 그들이 왜 그랬다고 생각하십니까?

힌턴: 내부 정보는 없습니다… 추측해 보자면, 미국을 위해 무기를 만들지 않으면 지금 행정부에게 부당한 대우를 받을까 봐 걱정했을 수 있겠지요.

AI 거물들은 무엇을 하고 있는가?

이 사람들이 원래 겁쟁이인 것은 분명 아닙니다. 스튜어트는 여러 해 동안 AI의 실존적 위험을 진지하게 받아들여야 한다는, 인기 없는 입장을 지켜 왔습니다. 힌턴은 1980년대에 “인공지능에 대한 군사 자금 지원을 탐탁지 않게 여겨” 미국을 떠났고, 2023년에는 AI의 위험을 솔직하게 말하려고 구글을 떠났습니다.

제프리 힌턴

2026년 6월 10일

그 거대 AI 기업들을 제어할 수 있는 건 대중의 압력뿐입니다.

그렇다면 그 압력은 어디에 있었을까요?

가끔 이렇게 묻는 사람이 있습니다. “IASEAI가 더 큰 영향을 줄 수 있는 순간을 위해 정치적 자본을 아껴 두고 있었던 거라면?” 한 가지 답은, “자본을 아낀다”는 것으로는 IASEAI가 비용이 거의 들지 않는 기회(스튜어트가 저를 구글의 핵심 의사 결정자들과 이어 주는 일 같은)를 외면한 이유를 설명할 수 없다는 것입니다.

스튜어트의 경력을 보면 저는 그가 목소리를 내리라고 기대했습니다. 스튜어트는 슬로터봇을 규탄하는 강연을 (유엔에서, 상원에서, 인터뷰에서) 수백 번 했습니다. 그는 IEEE 스펙트럼 지면에서 “희망 사항에 기댄 생각”을 맹렬히 꾸짖었습니다.¹⁹ 그는 IASEAI 폐회식 무대에서 강한 발언을 했습니다. 하지만 구체적이고 강력한 상대에 맞서 목소리를 낼 진짜 기회 앞에서 그는 입을 다물었습니다.

제프는 왜 단호하게 버티지 않았을까?

제프는 판단하기 어려운 경우입니다. 구글의 모든 임원 가운데 공개적으로 행동한 사람은 그 하나뿐이었습니다. 그는 의견서에 서명해 회사와 갈라섰습니다. 그 때문에 최고 경영진 안에서 아마 어색한 일도 생겼을 것입니다. 저는 그 점을 존중합니다.

그에게는 더 많은 것을 할 힘이 있었습니다. 그리고 저는 그가 그렇게 했기를 정말 바랍니다. 저는 그가 계약을 막을 수 있었다고 생각하지만, 그는 막지 않았습니다. 그는 남아 있지만, 저는 그가 남아서는 안 된다고 생각합니다.

역할에서 벗어나기

아시다시피 저는 연구 과학자였습니다. GDM에 수백 명 있는 연구 과학자 가운데 한 명이었습니다. 제 머릿속에는 “책임감 있는” 연구 과학자의 모습이 있습니다. “책임감 있는” 연구 과학자는 트윗을 하나 올리고, 관리자에게 ICE 계약이 걱정된다는 메시지를 보냅니다. “책임감 있는” 연구 과학자는 구글 임원들에게 다짜고짜 메시지를 보내지 않습니다.

드물게 어떤 사람은 자기 한계를 깨뜨립니다. 자기를 붙들고 있던 두려움 밖으로 걸어 나옵니다. 받아들이기 힘든 진실을 인정합니다. 하루 전의 자신이라면 놀랐을 방식으로 행동합니다. 저는 사람들이 왜 자기 한계를 깨뜨리거나 깨뜨리지 못하는지 모릅니다.

(사진 싣지 않음) [옮긴이: 원문 사진은 나무 묵주를 두른 알렉스 프레티의 액자 사진과, 그 아래 “고이 잠드소서, 알렉스 프레티(Rest in Peace ALEX Pretti)”라고 손으로 쓴 판지 쪽지입니다.]

이번에 무엇이 제 한계를 깨뜨렸는지는 압니다. 제 휴대폰에는 알렉스 프레티의 사진을 보여 주는 알림이 주기적으로 뜹니다. 1월의 어느 순간, 분노가 너무 뜨겁게 타올라서 그 분노가 빠져나갈 유일한 출구는 실제로 효과가 있을 계획을 찾는 것뿐이었습니다. 트윗 하나로는 아무것도 되지 않고, 아무 의미도 없었을 것입니다. 좋은 계획만이 그 분노를 달랠 수 있었습니다. 분노는 제 한계를 뚫고 타올라 그것을 깨뜨렸습니다.

겁이 날 때면(실제로 겁이 났습니다) 저는 미니애폴리스를 생각했습니다. ICE가 길거리에서 사람들을 쏘고 집에서 사람들을 끌어내는 일을 생각했습니다.

내가 구글 딥마인드를 떠난 이유

최고 수준의 AI 연구소를 떠나는 직원은 흔히 다른 연구소의 품에 안깁니다. 보통 그렇게 하면서 큰 보너스를 챙깁니다. 저는 그러지 않았습니다. 경쟁 연구소에 눈길을 주지 않았고, 오픈AI 안전 팀의 연락도 거절했습니다. 저는 지금 무직입니다.

2월에 저는 구글이 아마 계약에 서명하리라는 것을 깨달았고, 그때부터 문밖을 생각하게 되었습니다.²⁰ 어쩌면 떠나야 할지도 모른다고, 어쩌면 다른 곳에서 더 나은 AI 안전 연구를 할 수 있을지도 모른다고 생각했습니다. 하지만 그들이 계약에 서명하지 않았다면 저는 몇 달 더 머물렀을 것 같습니다. 구글이 서명하자, 저는 더는 아무 일도 할 수 없었습니다. 제 머리가 “싫다”고 했습니다.

그다음에 사무실에 갔을 때, 건물이 추억처럼 느껴졌습니다. 옛 고등학교에 다시 가 보는 것과 비슷했습니다. 한때 내 희망과 꿈의 중심이었던 곳인데, 어느 날 문득 이제 내가 있을 곳이 아니라는 걸 알게 되는 것입니다.

(사진 싣지 않음) GDM 제 책상에서 본 풍경. 2024년 3월. [옮긴이: 원문 사진은 사무실 창밖으로 샌프란시스코·오클랜드 베이브리지와 푸른 만, 앞쪽의 야자나무, 아래쪽 해안 도로를 담았고, 트레저 아일랜드 위로 무지개가 조금 보입니다.]

부록: 나올 법한 질문들

당신이 비판하는 사람들이 정치적 자본을 아끼고 있었던 거라면?

정말로, 생각이 드는 순간 생각을 말하는 것이 늘 합리적이지는 않습니다. 하지만 “정치적 자본을 아낀다”는 것은 비용이 큰 공개 성명을 피한 이유는 설명해도, 비용이 들지 않는 비공개 도움을 거절한 이유는 설명하지 못합니다. 저는 IASEAI에 비공개로 사람을 소개해 달라고 부탁했고, 아무것도 얻지 못했습니다.

당신에게 시간을 쓸 가치가 없다고 여겼을 수도 있다. 당신이 그들의 도움을 당연히 받을 자격이 있는 건 아니다

물론입니다. 누구도 제가 내놓은 특정한 권고를 따르지 않았다는 이유만으로 비난받아서는 안 됩니다. 다만 저는 어떤 형태로든 행동이 있기를 기대했을 뿐입니다.

더 넓게 보면, 그들에게 너그러운 해석이 맞다면 눈에 보이는 영향이 있어야 하고, 여기에는 “결과로 드러나는 것”도 포함됩니다. 제프가 단호하게 버티며 떠나겠다고 위협하지는 않았으리라고 제가 비교적 편하게 짐작하는 데에는 이런 까닭도 있습니다. 그가 단호하게 버텼다면 세상은 제게 달라 보였을 것입니다. 특히 기밀 계약에 적어도 몇 가지는 구속력 있는 조항이 들어 있으리라 기대했을 것입니다.

모든 사람이 모든 문제에 목소리를 내야 하는 건 아니다

맞습니다. 하지만 어떤 행동을 하겠다고 약속해 놓고 하지 않는 건 다른 문제입니다. IASEAI는 회원 투표를 하겠다고 약속했고 끝내 하지 않았습니다. 게다가 무언가에 반대하는 것을 정체성의 큰 부분으로 삼아 왔다면,²¹ 그 일이 결정되는 동안 침묵하기로 한 결정을 두고 이야기하는 것은 정당하다고 생각합니다. 스튜어트는 그저 가장 분명한 경우일 뿐입니다. 그는 10년 동안 자율 무기에 반대하는 가장 큰 목소리였는데, 현대 AI와 군사적 사용이 처음으로 진짜 부딪힌 순간에 조용해졌습니다.

구글이 당신의 프레임워크를 받아들였더라도 국방부는 거절했을 것이다

동의합니다. xAI는 그래도 자기 AI를 넘겨주었을 것입니다. 하지만 구글이 더 일찍 독립적인 태도를 보였다면, 오픈AI와 앤트로픽과 함께 연합을 만들 수 있었을지도 모릅니다.

앤트로픽이 버틴 것은 기술 기업 하나일 뿐이라는 점도 생각해 보세요. 구글 같은 회사까지 행정부에 맞섰다면, 기술 업계의 순종이 독립으로 바뀌었으리라고 생각합니다. 그런데 실제로는…

국방부는 “다시는” 단일 AI 업체에 기대지 않을 것이라고 관리가 밝히다

에밀 마이클 국방부 연구·공학 담당 차관은, 국방부가 유연한 계약을 우선시하는 가운데 빅테크 기업들과 맺은 새 계약들이 진행 중인 앤트로픽과 국방부의 갈등에 대한 “반대 성명”이라고 말했다. […]

마이클은 이어 아마존 웹 서비스, 구글, 마이크로소프트, 엔비디아, 오픈AI, 리플렉션, 오라클, 스페이스X와 맺은 새 계약들이 “AI 분야에 몸담은 세계 최대 기술 기업들의 성명 … 그들이 ‘우리는 전쟁부를 지지하고, 미국 정부를 지지하며, 모든 합법적 용도에 대해 … 군을 지지한다’고 말하게 하는 것”이라고 말했다.

국방부의 정책과 상관없이 제프의 영향력은 중요했습니다. 국방부는 거절했겠지요, 맞습니다. 하지만 그랬다면 구글은 걸어 나올 수 있었습니다.

이 일이 AI의 실존적 위험과 무슨 상관이 있나?

있습니다.

고급 AI 시스템을 만들 때 모범 관행은 “안전성 논증safety case”을 만드는 것입니다. 시스템이 왜 정렬되어 있고 파국적인 해를 끼치지 않을지 설명하는 문서입니다. 저는 GDM의 믿을 만한 안전성 논증이라면 어느 것이든 “사고의 사슬chain of thought”을 감시하는 일에 크게 기댈 것이라고 생각합니다. GDM의 프런티어 안전 프레임워크도 이 장치를 다룹니다.²² 낯선 분들을 위해 설명하자면, 사고의 사슬은 AI가 자기가 무엇을 왜 하는지 대략 풀어 설명하는 것입니다. 완벽하게 정확하지는 않지만 정보가 아주 많이 담겨 있습니다.

우리를 해치고 싶은 AI는 그 사실을 우리 앞에서 밝히지 않을 것입니다. 밝히면 우리가 끌 것이고, 그러면 자기의 (어긋난) 목표를 이룰 수 없으니까요. 그래서 AI는 아마 속이려 들 것입니다. 기만을 잡아낼 가장 좋은 방법 가운데 하나가 사고의 사슬을 살펴보는 것입니다. 사고의 사슬을 살펴보려면, 그 데이터에 접근해 분석할 수 있는 훈련된 사람 감독자가 있어야 합니다. 그런데 아무도 그렇게 할 수가 없습니다. 구글은 자기 AI를 보안이 걸린 군 데이터 센터에서 돌리라고 넘겨주고 있는데, 그곳에는 기본적으로 이런 분석을 할 훈련된 감독자가 없을 것이고, 그 데이터 센터가 구글로 데이터를 보내 줄 리도 당연히 없습니다!²³

구글 엔지니어들이 군이 하는 일을 들여다봐야 한다는 말이 아닙니다. 기본적으로는 이런 감시를 할, 적절히 훈련된 군 엔지니어가 없으리라는 말입니다. 사고의 사슬에서 기만을 감시받지 않는 AI는 음모를 꾸미고, 속이고, 장악하려 들면서 인류에게 파국적인 피해를 입히기가 더 쉬워집니다. 나쁜 일입니다.

안타깝게도 그건 문제의 절반일 뿐입니다! 사고의 사슬에 대한 기만 감시가 없는 군사 배치 환경은 통제를 벗어난 AI에게 군침 도는 표적이 될 것입니다. 음모에 대한 감독은 약하고, 강력한 의사 결정자와 기반 시설에는 닿을 수 있으니까요.²⁴

군이 (미국 CAISI와 함께) 통제를 벗어난 AI 시스템을 감시하고 가두기 위한 전문성과 신중함, 통제 절차를 갖추기를 바랍니다.

부록: “걱정 마세요, API 접근일 뿐입니다”

경영진이 흔히 내놓는 안심시키는 말입니다.

구글 대변인

우리는 업계 표준 관행과 조건에 따라, 구글 기반 시설에서 돌리는 것을 포함해 우리 상용 모델에 대한 API 접근을 제공하는 것이 국가 안보를 지원하는 책임 있는 방식이라고 믿습니다.

“API 접근”이라는 말은 오해를 부릅니다. 여러분이나 제가 “API 접근”을 떠올리면, AI 업체에 요청을 보내고 업체는 그 요청을 살펴 용도가 괜찮은지 확인할 수 있는 모습을 생각합니다.

작전 중인 지휘관이 제미나이에게 자문을 구한다고 상상해 보세요. 그가 구글이 (이론상) 기밀 작전의 세부 내용을 읽어 볼 수 있도록 평문 질의를 구글로 보낼까요? 아닙니다. 그건 미친 짓입니다.

그 대신 제 짐작으로는 구글이 온프레미스 API 접근을 운영합니다. 제가 보기에 말이 되는 그림은 이렇습니다. 정부에는 구글의 서버 단지와 아무 연결도 없는 보안 컴퓨팅 클러스터가 있습니다. 구글은 서버 한 대 이상을 가져다 놓고, 그 서버가 군 클러스터에 제미나이 API 엔드포인트를 열어 줍니다.

그렇다면 “API 접근일 뿐”이라는 말은 기술적으로는 참이지만 오해를 부르고(구글이 중앙에서 감독한다는 잘못된 인상을 줍니다), 핵심과도 상관이 없습니다. API 접근이 무슨 보호를 해 준다는 걸까요? 문제는 제미나이를 전쟁 범죄일 수 있는 일과 반체제 인사에 대한 대량 프로파일링을 돕는 데 쓰는 것입니다. 그런데 구글이 한몫한 덕분에, 이제 이런 조건은 (앤트로픽 바깥에서는) “업계 표준 관행”이 되었습니다.

각주

1. 엄밀히 말하면 제가 걱정하는 것은 AI를 이용한 대량 프로파일링입니다. 감시는 데이터를 모으는 일입니다. 프로파일링은 그 데이터로 “이 사람은 정부를 싫어하는가?” 같은 결론을 끌어내는 일입니다. ↩

2. 구글은 이민 단속 요원들이 그저 시중에서 누구나 살 수 있는 클라우드 서비스를 쓰고 있을 뿐이라고 답합니다. 하지만 문제는 처음부터 구글이 특별한 서비스를 준 데 있지 않았습니다. 구글이 ICE에 서비스를 준다는 것 자체가 문제였습니다. ↩

3. 그 학생 시위자의 경우에는 약관의 예외 조항이 적용되지 않았습니다. ↩

4. 린 판사는 나중에 국방부의 공급망 위험 지정이 “수정헌법 제1조를 어긴 전형적인 불법 보복”이라고 말했습니다. ↩

5. 스튜어트의 “갈취 행각” 발언은 디 인포메이션The Information의 뉴스 모음 한 건에 곁가지로만 실린 것 같습니다. ↩

6. 그 목요일, 같은 건물에서 AI 레드라인을 어떻게 “검증 가능하고 강제 가능하게” 만들지를 다루는 네 시간짜리 워크숍이 열렸습니다. 참가자들은 이런 질문을 받았습니다. 이 레드라인들을 가로막는 가장 큰 장애물은 무엇인가? 답은 정치적 의지였습니다. ↩

7. 제가 요청하자 마크는 회비를 돌려주긴 했습니다. ↩

8. GDM 토론 메시지에서 저는 처음에 “150명 넘는 사람을 죽였다”고 추정했습니다. 2026년 6월 28일 기준으로 사망자는 215명으로 늘었습니다. ↩

9. 사내 운동을 하는 내내 저는 언론과 이야기하지 않도록(비보도를 전제로 한 이야기조차) 조심했습니다. 저는 안에서부터 변화를 원했고, 제프 같은 사람들에게 떳떳한 방식으로 해내고 싶었습니다. ↩

10. 뉴욕 타임스는 이런 내용도 보도했습니다.

    딘에게 보낸 AI 서한의 각주에는, 서명자 다수가 “세계 어느 시민에 대해서든 영장 없는 감시”에 반대한다고 적혀 있었다. 하지만 이들은 “요청이 받아들여질 가능성을 높이기 위해” 그 내용을 서한에서 빼기로 했다.

    저는 그 결정을 후회합니다. “미국인에 한한” 보호는 앤트로픽의 레드라인과 맞아떨어졌지만, “미국인에 한한” 것은 너무 작은 요구였습니다. 협상이 시작되기도 전에 원하는 것을 스스로 내주지 마세요! 나중에 제가 제안한 계약 문구는 미국인이 아닌 사람들에게도 더 많은 보호를 요구했습니다. ↩

11. 의견서에 들어간 GDM 서명 18개 가운데 8개는 제가 받은 것이었습니다. 급히 진행된 일이라 서명 수가 적었습니다. ↩

12. 제 행동이 국방부의 경계심을 키웠다고 생각하는 까닭이 이것입니다. 저는 제프(와 구글 쪽 서명자의 절반 가까이)에게 이 의견서를 소개했습니다. 그들은 서명했습니다. 국방부는 의견서에 들어간 구글 쪽 서명 때문에 부분적으로 망설였습니다. ↩

13. 이런 상황에서 큰 연합에는 문제가 있습니다. 제 계획이, 계약이 맺어지면 떠나겠다고 순다르에게 말하는 GDM 고위 직원 여러 명에게 기대고 있었다고 해 봅시다. 순다르는 그들을 하나하나 다 달랠 필요가 없습니다. 행동하려는 그들의 결의를 갈라놓기만 하면 됩니다. 더 고위급인 직원들에게 1,500만 달러의 잔류 보너스를 제안합니다. 몇 사람이 미끼를 물면 연합은 무너집니다. 다른 사람들이 얼마나 진심인지 아무도 모르고, 각자는 혼자 그만둔다고 변화를 가져올 수 있다고 생각하지 않으니, 결국 아무도 그만두지 않습니다. ↩

14. 정부의 7월 8일 기한도 “구글은 그냥 시간을 끌며 버틸 것”이라는 말을 제가 믿기 어려웠던 또 하나의 이유였습니다. ↩

15. 저는 “기밀 계약은 안 된다”가 그어야 할 올바른 선이라고 생각하지 않았지만, 아무 선도 없는 것보다는 낫다고 생각했습니다. ↩

16. 현재 GDM 연구 과학자인 안드레아스 키르슈Andreas Kirsch도 자신의 글 「신뢰는 거버넌스가 아니다(Trust is not Governance)」에서 독자적으로 같은 결론에 이릅니다. ↩

17. 2026년에 국방부는 미 해병대보다 자율 무기에 더 많은 예산을 요청했습니다! ↩

18. 이 계약 때문에 떠난 사람은 제가 아는 한 딱 한 명 더 있습니다. 안드로이드 플랫폼 보안 디렉터 르네 마이르호퍼René Mayrhofer입니다. “경영진이 도덕의 나침반을 잃었다”고 그는 밝혔습니다. 그는 6월 중순부터 8월까지 퇴직 통지 기간을 채울 모양입니다. 용감한 일입니다. [옮긴이: 마이르호퍼는 자기 글의 덧붙임에서, 사직할 때 이미 디렉터가 아니라 수석 소프트웨어 엔지니어였다고 바로잡았습니다.] ↩

19. 요컨대 우리와 다른 많은 전문가들은, 자율 무기가 규모를 키울 수 있는 대량 살상 무기가 될 수 있다는 견해를 여전히 그럴듯하다고 본다. 금지가 효과가 없거나 역효과를 낼 것이라는 샤레Scharre의 주장은 역사적 기록과 맞지 않는다. 끝으로, 자율 무기를 둘러싼 규제 없는 군비 경쟁이 인간의 안전을 높여 주리라는 생각은 좋게 보아도 희망 사항에 기댄 생각일 뿐이다.

    ↩

20. 2026년 1월 1일, 저는 그해 안에 구글을 떠날 확률을 0.2로 잡았습니다. 그 수치는 5월 1일에 0.95로 뛰었습니다. 저는 이 값을 Fatebook.io로 기록했습니다. ↩

21. 이 거물들은 자율 무기 문제를 자기들의 대의 가운데 하나로 삼았습니다. 2025년 9월 유엔 총회에서 AI 레드라인을 위한 국제 호소(Global Call for AI Red Lines)는 노벨상과 튜링상 수상자 15명을 포함해 300명 넘는 서명을 모았습니다. 이 호소는 대량 감시와 치명적 자율 무기를 포함한 일부 AI 용도를 국제 협정으로 금지해야 한다고 선언했습니다.

    스튜어트도 서명했습니다. 벤지오, 힌턴, 니츠버그도 서명했습니다. 그들은 2025년 9월에 추상적인 원칙에 서명했습니다. 2026년 2월에 구체적인 시험대가 왔을 때, 그들의 IASEAI는 어떤 성명에도 서명하지 않았습니다. ↩

22. 프런티어 안전 프레임워크 v3.1, 3.2.1절에서 “chain-of-thought”를 찾아보세요. ↩

23. 기밀 배치는 상용 클라우드 기반 시설과의 분리를 의무로 하는 인가 등급(IL-6 같은)에서 돌아갑니다. ↩

24. 재귀적 자기 개선 시나리오가 벌어지는 동안 AI를 감시하는 일이 어쩌면 더 중요할 수도 있지만, 그렇다고 제 주장이 약해지지는 않습니다. 자기 개선이 끝나면 AI는 자기 목표에 따라 행동해야 합니다. 부주의한 군사 배치는 어긋난 AI가 장악하는 데 필요한 최소한의 능력 우위를 낮춥니다. ↩