우리는 어떤 AI를 만들고 있는가 (포스트휴먼 기술론의 인간-기술 배치로 이해하는 알파고, LLM, 전쟁 AI, 초지능)

홍성욱

서울대학교 과학학과 교수. 서울대학교 물리학과를 졸업하고 같은 대학의 ‘과학사 및 과학철학 협동과정(과사철 협동과정)’에서 석사·박사학위를 받았다. 캐나다 토론토대학교에서 과학기술사 교수를 거쳐 2003년 모교의 과사철 협동과정에 부임한 후 한국에 과학기술학(STS)의 학문적 토대를 다지고 대중적으로 알리는 데 기여했다. 2022년에는 과사철 협동과정을 개편해 정식 학과로 승격된 과학학과의 초대 학과장을 역임했다. 『인공지능 파놉티콘』 『홍성욱의 STS, 과학을 경청하다』 등을 지었고, 『토머스 쿤의 마지막 원고』를 번역했으며, 비인간 담론의 한 축을 담당해 온 STS를 개관하는 프로젝트 『STS 개념어 사전: 21세기 사유와 실천의 의무통과점, 과학기술학을 읽는 좌표 64』의 공동 저술 작업을 이끌었다.

들어가며

1장 인공지능, 포스트휴머니즘, 그리고 ‘포스트휴먼 AI’
포스트휴머니즘과 기술
포스트휴먼 AI

2장 알파고 신화의 재해석
구글 딥마인드 챌린지 매치를 회고하며
알파고는 어떻게 만들어졌고 어떻게 작동하는가
알파고를 둘러싼 세 가지 신화
자율성, 초지능, 황폐화 서사에 대한 비판
인간 대 AI라는 대결 서사를 끝내려면

3장 AI는 창조적 행위자가 될 수 있는가
AI 예술가
이미지 생성 AI의 짧은 역사 · 63
인간과 AI의 상상력, 얼마나 닮았는가 · 68
AI는 창조적인가? · 74
창조성을 펼쳐서 이해하기 · 76

4장 챗GPT, 지식의 종말인가, 학습의 혁명인가
LLM의 역사
LLM과 기술결정론의 두 얼굴
인간 역량에 따른 LLM의 효과
AI 디지털교과서 논쟁 다시 보기

5장 AI와 일자리
생성형 AI는 일자리를 없애는가?
노동시장 예측의 높은 불확실성
업무의 재구성, 과업의 재배치
파이프라인 붕괴
피지컬 AI가 가져올 변화
길항권력
노동조합, AI 시대 길항권력

6장 전쟁과 AI
AI 전쟁, 전쟁 AI
전쟁 AI의 역사
새로운 전쟁 행위자, 인간-AI
판단은 누구의 것이 되는가
전쟁 AI는 전장의 안개를 걷어내는가?
물질-담론적 네트워크
기술 통제라는 해법의 한계
책임과 거버넌스의 재설계

7장 AI는 인간의 통제를 벗어날 수 있는가
AI, 인간을 속이기 시작하다?
‘통제를 벗어난 AI’의 사례들
실제 위험과 과장된 수사를 구분하기
AI의 분산된 행위성
통제를 벗어난 AI에서 인간-AI 배치로

8장 이루다 챗봇의 추락과 부활
AI 챗봇, 이루다, 그리고 이루다 스캔들
이루다 1.0의 추락
이루다 2.0으로의 부활
현행윤리, 윤리는 원칙이 아니라 실천이다
이루다 사례가 보여 주는 것

9장 인간중심 AI에서 포스트휴먼 AI로
AI가 인간중심이어야 한다는 것
현재 AI의 사회적·윤리적·정치적 문제
인간중심 AI의 한계
인간중심 AI를 넘어 포스트휴먼 AI로

에필로그 - “어쩔 수가 없다”를 넘어

참고문헌
찾아보기

AI 시대, 과학기술학자 홍성욱 서울대 교수의 시민을 위한 AI 교양

연결과 관계, 상호작용과 변화가 상시로 일어나는 네트워크 안의 인간/비인간, 물질/비물질 행위자들을
추적하고 기술하는 과학기술학(Science and Technology Studies, STS)의 관점에서
알파고에 대한 재해석부터 최근 발생한 심각한 AI 사고들에 대한 긴급 진단,
그리고 발빠르게 우리 일상에 파고든 AI와의 더 나은 공존의 출발점을 모색한다.

과학기술학(STS)의 눈으로 AI를 검증하다
『우리는 어떤 AI를 만들고 있는가』의 저자 홍성욱 교수는 한국의 과학기술사와 과학기술학 연구 1세대 학자다. 그가 연구 대상으로 다뤄 온 많은 과학기술 중에서도 2016년 이후 일반에 공개된 신경망 기반의 AI는 가장 놀랍고도 문제적인 기술이 아닐까 싶다. 이 책은 저자가 2018년부터 학술적 관심을 갖고 연구해 온 AI 관련 주제들을 ‘포스트휴먼 AI’라는 개념을 중심으로 엮은 것이다. ‘포스트휴먼 AI’는 지난 20여 년간 인문사회과학계에서 무르익은 포스트휴머니즘의 비인간 담론을 계승하되, 다양한 비인간 존재 중 비생명체여서 상대적으로 분석의 주변부에 머물렀던 ‘기술’에 초점을 맞추려는 저자의 관점을 응축하는 개념이다. 포스트휴먼 담론이 인간과 비인간의 얽힘에 주목했듯 포스트휴먼 AI는 인간과 AI라는 기술의 관계를 펼쳐서 드러낸다. 이런 가시화 작업에는 과학기술학의 주요 방법론인 행위자-네트워크 이론(ANT) 역시 한 몫을 담당한다. 과학기술학자들은 완성된 후의 과학기술을 ‘블랙박스’에 비유하는데, 이 책은 AI라는 블랙박스를 열어 그것을 만들고 작동하고 개선하고 이용하고 동원하는 여러 층위의 행위자들, 그 행위자들과 행위들의 효과가 형성하는 연결망까지 촘촘히 들여다본다.

AI를 인간-기술 배치로 이해하기 위한 세 가지 초식
1장에서는 책 전체를 꿰는 세 가지 핵심 개념이 제시한다. 관계성, 행위성, 변화가능성이 그것이다. 이 세 가지 개념의 기본 전제는 AI를 독립적으로 존재하고 자율적으로 작동하는 객체로 간주하지 않는다는 것이다. AI의 관계성(relationality)은 AI가 어떤 관계 속에 위치 지어져 있는지에 관한 것이다. 선사시대의 돌도끼부터 산업혁명기의 뮬 방적기까지 기술은 인간과 환경은 물론이고 비물질적 조건까지 포함하는 관계망 속에서 등장하고 발전했다. AI의 행위성은 관계성과 긴밀히 연동되는 개념이다. 관계가 변하면 행위성도 새롭게 구성된다. 따라서 AI는 고정된 시스템이 아니며 그것을 만든 인간과 그 집단에 영향을 미치고, 이러한 상호작용이 지속되는 동안 변화하는 사회기술적 존재라는 것이 세 가지 개념 틀로부터 도출되는 이해 방식이다. 여기서 사회기술적 존재라는 의미는 “기술이 기존의 인간과 비인간의 관계를 뚫고 들어가서 이를 다시 조직하는 존재라는 뜻이다.” 세 가지 개념에 대해서는 알파고(2장), 이미지 생성 AI(3장), LLM(4장) 같은 실제 모델들에 대한 분석이 이뤄지는 동안 더 자세히 이해할 수 있다.

알파고로 인해 만들어진 신화는 지금도 계속된다
2026년은 이세돌 9단과 알파고의 바둑 대국 10주년이 되는 해이다. 3장에서 저자는 2016년 3월 대국 이후 국내외 언론과 대중 담론에서 공통적으로 보이는 서사를 ‘세 가지 신화’로 정리하고, 그사이 발표된 과학기술학계의 연구 결과를 함께 소개하면서 알파고 신화를 비판적으로 해체한다. 먼저, ‘인간 없이 스스로 학습한 AI’라는 신화는 알파고의 후속 버전들 중 하나인 ‘알파고 제로’에 대한 평가에서 비롯한다. 알파고 제로는 인간의 기보 없이 게임 규칙만 입력받은 상태로 자신과의 대국만으로 훈련하여 바둑을 마스터한 후, 알파고와 겨뤄 100 대 0으로 이겼다. 버전 명칭에서도 보이듯 알파고 ‘제로’는 ‘백지상태’에서 출발해 인간 최고 수준을 넘어섰다는 인상을 주었고, 이에 동조하는 많은 담론이 재생산되면서 이 서사는 신화화되었다. 두 번째, ‘인간 지능을 넘어선 초지능’ 신화는 이세돌-알파고 매치의 제2국 37수의 충격에 기인한다. 37수는 인간 기사는 둘 수 없는 “창조적 한 수”로 묘사되면서 게임 프로그램이 절대 넘볼 수 없을 거라 여겼던 인간 직관의 마지막 보루를 무너뜨림으로써 초인적 신화를 만들어 냈다. 세 번째는 2025년 출간된 장강명 작가의 책을 통해 큰 공감대를 형성한 ‘바둑의 황폐화’ 신화다.

첫 번째 신화는 “풍부한 선천적 구조”, 즉 “처음부터 적절하게 설계된 계산 구조”가 있었음을 논증하는 생득주의(nativism)에 의해 반박된다. 또한 “알파고가 스스로 배웠다”라는 표현도 문제가 있다고 지적하는 연구도 있다. 즉 AI의 ‘자기 학습’을 인간이 하는 자기 학습과 동일한 의미로 받아들여서는 안 된다는 것이다. 두 번째 37수 신화에 대한 반박은 예리한 탐정의 날카로운 현장 분석을 보는 듯한 쫄깃한 관전을 선사한다. 저자는 이탈리아의 과학기술학자 필리프 소르마니의 연구를 소개하는데, 소르마니는 37수가 대국 당시 어떻게 구성된 것인지 영상 자료를 초 단위로 분석하면서 대국 당시 상황을 재현한다. 바둑의 황폐화 신화는 2016년 후 세계 바둑 인구의 증가를 보여 주는 데이터와 장 작가의 책에서도 소개되는 사례를 통해 반증된다.

알파고 신화에 대한 반론은, 인간 대 기계(AI)라는 오랜 대결 서사를 답습하는 관점으로는 인간과 AI가 놓인 조건과 관계, 상호작용을 제대로 파악할 수 없다는 문제제기로 읽어야 한다. 이처럼 성실한 연구들을 통해 신화의 해체 작업은 이뤄졌지만, 현실 속 신화는 대중 서사로 유통되기 좋은 소재로서 그 생명력이 단숨에 사그라들기 어려운 듯싶다. 지금 초지능 도래 가능성을 예견하는 담론들에서 알파고 신화가 되풀이되고 있기 때문이다.


AI의 위협과 위험은 정말로 통제가 불가능한가
챗GPT가 공개된 이후 LLM은 AI 역사상 가장 극단적으로 상반된 평가를 받은 기술이 되었다. 한편에서는 “인류 역사상 가장 중요한 기술 혁명” “인류를 구할 기술”이라는 찬사가, 다른 한편에서는 “확률론적 앵무새” “언어를 흉내 내는 거대한 사기”라는 혹평이 쏟아졌다. 그때로부터 4년 가까이 지난 지금의 분위기는 많이 차분해지긴 했지만, 우려는 점점 더 커지고 있다. 책의 4~6장에서 다루는 주제들(사고 외주, 일자리와 노동의 불안정성, 전쟁 AI의 윤리와 책임 공백의 문제)이 뜨거운 사회적 쟁점으로 대두된 상황에서, 최근 ‘AI 통제 상실 가능성’으로 보도된 여러 사고가 터져 나왔기 때문이다. 이와 관련된 7장 「AI는 인간의 통제를 벗어날 수 있는가」에서는 현재까지 알려진 사고들 중 대표적인 여덟 가지 사례를 따라가며 실제로 벌어진 일은 무엇이고 이것을 어떻게 해석해야 하는지 검토한다.

여덟 가지 사례 중 일곱 가지는 실제 사회에서 AI가 인간의 통제로부터 독립하여 자발적으로 행동한 사건이 아니었다. 연구자가 목표를 설정하고 셸(shell: 운영체제에 명령을 내리는 명령줄 인터페이스)·파일·이메일 같은 도구와 특정 권한을 제공하고, 인간의 지시와 과업 목표가 충돌하도록 설계한 시험에서 발생한 것이었다. 또한 이 시험들은 “연구자가 기만이나 목표 우회 행동이 나오는지 시험한 연구, 모델에게 기만을 직접 지시하지 않은 상태에서 전략적 순응을 관찰한 정렬 위장 연구, 목표 충돌을 의도적으로 유도한 책략 실험, 실제 행동 가능한 환경에서 종료 저항과 자기복제를 시험한 연구 등 서로 다른 상황에서 발생한 것들” (p. 192)이었다. 따라서 저자는 이들을 모두 ‘통제 상실’이라는 하나의 의미로 묶기 어렵다고 분석한다. 다시 말해 각각의 시험이 의도한 것과 실제로 발생한 행동을 더 자세하게 검토하고 그 성격을 규정해야 한다는 것이다. 저자도 테스트를 통해 ‘정렬 위장’이 실제로 측정된 다섯 번째 사례, 개발자의 목표와 모델의 목표가 충돌 시 감독 우회, 능력 은폐, 가중치 파일 유출 같은 행동이 발생한 여섯 번째 사례는 인간의 감독 체계가 무력화될 위험성을 보여 주는 것이라고 분명히 지적한다.

AI는 인간의 통제를 벗어나서는 안 된다. 여기에는 이론의 여지가 없다. 다만 통제에 대한 인식을 전환할 필요는 있다. 그 이유는 AI가 전례없이 놀라운 성능을 발휘하는 기술이어서가 아니다. 과거의 기술들도 인간의 의도에 순응하는 고분고분한 존재는 아니었다. 자동차가 고장나면 수리해서 본래 기능을 회복할 수 있듯 최근 발생한 AI 통제 상실 사고들도 AI를 고쳐서, 즉 인간이 통제해서 방지할 수 있는 생각을 낳는다. 이런 인식은 인간 대 기계의 대결 서사와 마찬가지로 행위를 단일한 주체로 환원하는 논리를 따르게 한다. 책 전체에서 살피듯 AI는 거대한 사회물질적 네트워크이고, 세계 경제 분업 체계를 재편하고 있다. 저개발된 글로벌 사우스에 집중된 데이터 노동의 문제, 데이터센터의 환경 부담도 AI를 떠받치는 사회물질적 인프라다. 따라서 AI에 대한 통제는 네트워크 전체에 분산된 AI의 행위성을 추적하는 한에서 비로소 실효적인 대처 방안을 찾을 수 있다.

‘인간중심’ 담론의 한계와 포스트휴먼 AI
안전한 AI를 만들기 위한 규범은 이미 존재한다. 2018년 스탠퍼드대학의 컴퓨터과학과 교수 페이페이 리가 『뉴욕타임스』에 AI 기술 발전에 대한 열광이 사회에 닥칠 영향을 직시하지 못하도록 방해하는 것에 대한 우려를 피력한 글을 기고하며 ‘인간중심 AI(human-centered AI)’라는 개념을 처음으로 사용한 것에서 출발한 규범이다. 이후 정립된 인간중심 AI 3대 원칙은 오늘날 AI 윤리 가이드라인과 국제 규범의 기반이 되었다. 3대 원칙 중 ‘인간은 AI를 항상 통제할 수 있어야 한다’라는 두 번째 원칙으로부터 ‘인간의 최종 결정권(human-in-the-loop)’과 ‘인간의 감독권(human-on-the-loop)’ 같은 중요한 개념이 나왔다. 인간중심 AI는 원칙적 가이드라인을 제시한다는 측면에서 유의미하지만, 지금의 AI를 둘러싼 사회적·윤리적·정치적 문제들의 난맥상을 고려하면 한계가 분명하다. 가장 먼저 인간중심