our oppenheimer moment
This is the translation of the article "Our Oppenheimer Moment" contributed to the NYT by Alex Karp.
1942년, 화가와 직물 수입업자의 아들인 J. 로버트 오펜하이머는 맨해튼 프로젝트의 핵무기 개발을 위한 군사적 노력인 '프로젝트 Y'의 책임자로 임명되었습니다. 오펜하이머와 동료들은 뉴멕시코의 외딴 연구소에서 우라늄 정제법을 알아내고, 궁극적으로 작동하는 원자폭탄을 설계하고 제작하는 작업에 몰두했습니다.
그는 행동과 탐구에 치우친 사람이었습니다. 오펜하이머는 자신을 심판하는 정부 패널에게 "기술적으로 탐나는 것을 보면 바로 해버린다. 그리고 성공한 뒤에야 어떻게 할지 논쟁을 벌인다. 원자폭탄도 그랬다"고 증언했습니다. 그 후 그의 보안 승인은 취소되어 공직 생활이 끝났습니다.
히로시마와 나가사키에 폭탄이 투하된 이후, 오펜하이머는 자신의 행위를 두고 마음이 바뀌었습니다. 1947년 MIT 강연에서 그는 "그 폭탄을 만든 물리학자들은 '죄를 알게 되었다.' 그 지식을 잃을 수 없다"고 말했습니다.
이제 우리는 컴퓨팅 과학의 유사한 교차점에 도달했습니다. 그것은 엔지니어링과 윤리가 만나는 지점입니다. 우리는 그 힘과 가능성을 완전히 이해하지 못한 기술 개발을 계속할지 여부를 또다시 선택해야 하는 시점에 섰습니다.
우리가 마주한 선택지는 인공지능(AI)의 가장 발전된 형태가 언젠가는 인류를 위협하거나 대체할 수도 있다는 주장에 따라 개발을 제약하거나 중단할 것인지, 아니면 핵무기가 20세기를 규정한 것처럼 AI가 21세기 국제정치에 영향을 끼칠 것이란 기대 속에서 더 자유로운 실험을 허용할 것인지를 결정하는 것입니다.
최신 대규모 언어 모델의 발현적 특성, 즉 우리 세계를 이해하는 원시적 형태의 지식을 연결하는 능력은 아직 제대로 이해되지 않았습니다. 이해가 부족한 상황에서 이 신기술과의 초기 조우에 대한 반응은 경이로움과 두려움이 혼합된 모습으로 나타났습니다.
일부 최신 모델은 1조 개가 넘는 파라미터(알고리즘 내 조정 가능한 변수)를 가졌고, 이는 인간의 사고로는 도저히 이해할 수 없는 규모의 처리 능력을 의미합니다. 파라미터가 많을수록 모델의 세계 표현력이 더 풍부하고, 세상을 더 잘 반영한다는 사실을 알게 되었습니다.
그 1조 차원의 공간에서 나온 결과물은 불투명하고 신비롭습니다. 생성형 언어 및 이미지 모델이 어떻게, 그리고 왜 작동하는지, 그 모델을 만든 과학자와 개발자들조차 확실히 알지 못합니다. 최신 모델들은 이제 인간의 사고와 유사한 추론을 보여주는 '인공지능의 불꽃'을 시연하기 시작했습니다.
예를 들어 GPT-4의 능력을 시험하는 실험에서, 책, 달걀 9개, 노트북, 병, 못을 "안정적으로 쌓으라"는 질문을 했습니다. 이전 모델들은 적절한 설명을 내놓지 못했습니다. 그러나 GPT-4는 9개의 달걀을 3X3 형태로 책 위에 띄워놓고, 그 위에 노트북, 병, 못을 순서대로 쌓으라는 상세한 방법을 설명했습니다. 프린스턴대에서 컴퓨터 공학을 가르치고 현재 마이크로소프트 연구소에서 일하는 프랑스인 세바스티앙 뷔벡은 이를 '상식'의 경이로운 사례라고 평가했습니다.
이 기술의 내부 메커니즘을 이해하지 못하는 우리의 무지는, 이들이 우리 세계를 점점 더 잘 익혀가는 현상과 겹쳐져 두려움을 불러일으킵니다. 주요 기술자들은 추가 기술 진보에 앞서 신중과 토론을 촉구하는 목소리를 내고 있습니다. 더 발전된 형태의 AI 개발을 6개월 멈추자는 공개서한에는 3만 3000명 이상이 서명했습니다. 백악관에서의 회의에서도 AI 개발 회사들이 위험관리를 위한 원칙을 약속했습니다.
2023년 3월, 한 논평가는 "누군가 지나치게 강력한 AI를 현재 조건에서 만든다면 모든 인류와 생명체가 곧 멸망할 것"이라고 타임지에 기고했습니다.
이런 강한 우려는 정당합니다. 우리가 만드는 소프트웨어는 치명적 무기 운용을 가능하게 합니다. 무기 시스템과 점점 자율성을 갖는 AI 소프트웨어의 결합은 반드시 위험을 수반합니다.
하지만 이런 기술 개발을 중단하자는 제안은 잘못된 방향입니다. 대형 언어 모델의 진보를 제한하려는 시도는 대중이 위험과 보상을 제대로 판단하지 못할 것이라는 불신에 기인할 수 있습니다. 실리콘밸리의 엘리트들이 그간 소프트웨어를 인류의 구세주로 치켜세우더니, 이제는 군사작전에서 의학까지 혁신할 잠재력을 가진 연구를 멈추자고 주장하는 것은 의심스럽습니다.
챗봇이 사용하는 언어를 규제하려는 시도, 그리고 기계가 내놓는 대화의 한계를 지키려는 노력에도 많은 관심이 쏠립니다. 기계가 우리 상호작용 규범을 따르기를 바라는 욕망은 이해할 수 있지만, 이는 오히려 더 근본적인 위험에서 관심을 분산시키는 것일 수 있습니다. 언어 모델의 말투에 집착하는 것은 기술 자체보다는 우리 문화의 집착과 취약함을 드러냅니다.
우리의 관심은 오히려 전력망, 국방·정보 네트워크, 항공교통 관리 인프라 등 AI 프로그램이 다른 시스템과 자율적으로 통합하는 것을 막을 기술적 구조와 규제 프레임워크 구축에 더욱 시급하게 쏠려야 합니다. 이러한 기술이 우리와 나란히 존재하려면 인간 운영자와 알고리즘의 협력이 더 원활하게 이뤄지는 시스템을 신속히 구축해 기계가 창조자에게 계속 종속되도록 보장해야 합니다.
우리는 날카로운 도구가 우리를 해칠지 모른다는 두려움에 발전을 외면해서는 안 됩니다.
진짜 위험은 지구촌의 힘겨루기·패권 경쟁을 외면하고 안일함에 빠지는 것입니다. 우리의 적은 이런 기술의 군사·안보 활용에 대해 논쟁하며 머뭇거리지 않을 것입니다. 그들은 계속 나아갈 것입니다.
AI의 군사적 응용을 머뭇거리는 모습은 곧 대가를 치르게 됩니다. 상대를 겨냥한 힘을 투사할 수 있는 도구와, 그 힘을 사용할 수 있다는 신뢰성 있는 위협은 효과적인 협상의 전제입니다.
기술적 우월에 관한 공개적 논의에 대한 집단적 망설임의 근본원인은 우리가 이미 승리했다는 교만일지도 모릅니다. 20세기 투쟁 이후 서방 민주주의가 영구 승리를 이룬 것처럼 믿는 태도는 위험합니다.
자유롭고 민주적인 사회의 성공에는 도덕적 호소만으로는 충분하지 않습니다. '강한 힘'이 필요하고, 이 시대의 힘은 소프트웨어에서 나올 것입니다.
미국 경제학자이자 게임이론가인 토머스 셸링은 기술 발전과 무기의 정치적 영향 관계를 이해했습니다. 그는 1960년대 베트남전에서 "상대가 폭력을 예측해야 협상력이 생긴다. 폭력을 이용하는 것이 외교다. 포악한 외교지만 외교다"라고 적었습니다.
다른 나라가 기술개발에 박차를 가하는 동안, 실리콘밸리 엔지니어들은 군사 응용 소프트웨어 개발을 꺼립니다. 많은 엔지니어가 소셜미디어 광고 알고리즘은 만들지만 미군을 위한 소프트웨어는 만들지 않으려 합니다.
2019년 마이크로소프트는 미군 계약 수주에 내부 반발을 겪었습니다. 직원들은 공개서한에서 "우리는 무기 개발에 참가하려 하지 않았다"고 썼습니다.
2018년에는 구글 내부 시위로 인해 미 국방부의 특수작전 지원 시스템 계약을 갱신하지 않기로 했습니다. "미 정부의 군사 감시, 잠재적으로 치명적 결과를 돕는 기술을 만드는 것은 받아들일 수 없다"고 구글 직원들은 CEO 순다 피차이에게 공개서한을 보냈습니다.
실리콘밸리 엔지니어들의 견해가 미국 대중의 무게중심에서 의미있게 벗어난 것이 아닌지 우려스럽습니다. 해안지대 엘리트의 성향과 정치감각은 자기 정체성과 문화적 우월감엔 필수지만 미국의 국익에는 도움이 되지 않습니다. 실리콘밸리의 신동들은 그들의 부, 사업, 자기정체성 모두 나라 덕분에 가능했습니다. 국가의 보호와 사회적 기반 덕분에 그 높은 곳에 오른 사실을 그들도 알아야 합니다.
미국의 민주정 실험은 취약합니다. 결함 많은 나라지만, 세습 귀족 아닌 평범한 이들이 역량을 펼칠 기회는 이곳이 세계 최고입니다.
우리 회사 Palantir Technologies도 이 논쟁에 이해관계가 있습니다. 우리가 만든 소프트웨어 플랫폼은 미군 및 동맹 정보국이 타겟 선정, 작전 계획, 위성 정찰 등 다양한 임무에 사용합니다. 소프트웨어가 적 제거를 가능하게 하는 것은 국방·정보 기관에 가치가 있다는 전제 조건입니다. 팔란티어는 우리 회사의 이익과 우리가 속한 국가의 이익이 근본적으로 일치하는 점이 행운입니다. 우크라이나 침공 후 '언제 러시아에서 철수했냐'는 질문을 받지만, 우리는 애초에 러시아 사업을 하지 않았습니다.
국가와 기술 부문의 더 긴밀한 협력, 비전의 조율이 필요합니다. 이 점이 미국과 동맹국이 우위 확보, 즉 적을 견제할 근본 조건입니다. 지속 가능한 평화는 종종 진짜 위협에서 비롯됩니다.
1939년 여름, 앨버트 아인슈타인은 뉴욕 롱아일랜드 별장에서 레오 질라르드 등과 함께 미국 대통령 루스벨트에게 원자폭탄 개발을 촉구하는 편지를 보냈습니다. 아인슈타인과 질라르드는 "원자폭탄 개발의 기술적 진전이 경계와, 필요하다면 정부의 신속한 행동을 요구한다"고 썼습니다. 그리고 물리학자들과 정부가 '영구적 접촉'을 해야 한다고 주장했습니다.
당시에는 원자폭탄의 순수한 힘과 전략적 잠재력이 행동을 촉구했습니다. 지금은 인공지능 기술의 덜 가시적이지만 똑같이 중대한 능력이 신속한 대응을 촉구해야 합니다.