“기술을통한구원”이라는이데올로기
그기원과구조를해부하다
“완벽한건강,영생,이러쿵저러쿵.초인본주의,초월하기,이러쿵저러쿵.(…)무슨시나리오를만들어와도개선하는것은가능하지만,최소한그것들은꼭들어가야한다”
이책은AI정렬문제로유명한엘리에저유드코스키와의인터뷰로시작된다.그가보기에인공일반지능(AGI)의등장은필연이고,그것이등장하는순간인류는죽을가능성이매우높다.그래서그는AI연구를핵무기로위협해서라도즉각중단해야한다고말한다.모순은그옆에있다.같은인터뷰에서그는영생·초인본주의·우주의정복이“당연히시나리오에들어가야할”항목이라고말한다.AGI로인한인류의종말을경고하면서,동시에이위기너머에있는빛나는미래를꿈꾸고있다.이모순적인장면이바로이책의핵심질문을압축한다.실리콘밸리의억만장자들이그리는‘기술이주도하는미래’는정말로과학에근거한것인가,아니면그들의부와권력을영속시키기위한이데올로기인가.
천체물리학자이자과학저널리스트인애덤베커는유드코스키를비롯한핵심인물들과의직접인터뷰,원저작논문에대한과학적검증,그리고방대한취재에기반한탐사보도의방법론으로이질문에답한다.그렇다.이책의가장큰강점은단순한비판서가아니라현장취재에기반한탐사보도에가깝다는데있다.엘리에저유드코스키,안데르스산드베리를비롯한실리콘밸리와옥스퍼드의핵심사상가들이저자앞에서직접내뱉은말들이이책의뼈대를이루며,그육성이야말로이사상체계의내적논리와모순을가장생생하게드러낸다.
저자는효율적이타주의,장기론,특이점,AI정렬문제,기술가속주의등실리콘밸리를지배하는사상적조류의기원을역사적으로추적하고,이것들이서로어떻게연결되어하나의거대한이데올로기,즉‘기술을통한구원(techno-salvation)’이라는세계관을형성하는지를입체적으로보여준다.베커는복잡한철학적·과학적논쟁을생생한인물서사로풀어낸다.
저자의논지는세갈래로수렴한다.첫째,이비전들의과학적근거가빈약하다.둘째,설령실현된다해도인류에게재앙이된다.셋째,이비전들은실현여부와무관하게‘지금여기’에서이미권력으로작동하고있다.미래에대한논의의틀을결정하는자가현재의권력을갖기때문이다.
“세계를구원하기위해돈을번다”
선한의도는어떻게금융사기의면죄부가되었을까
이책의출발점은‘효율적이타주의(EffectiveAltruism)’라는철학운동이다.피터싱어의‘가장효율적인방법으로세계의고통을줄이자’는제안에서출발한이운동은,윌리엄매캐스킬의손을거치면서‘장기론(longtermism)’,즉미래에존재할수조명의잠재적인류가현재의80억보다도덕적으로더중요하다는사고로변질된다.이변질을단적으로보여주는매캐스킬의주장이있다.“지구온도가7~10℃올라가난한농경국가들이타격을입게되더라도,곧바로인류문명의붕괴로이어지는것은아니다.”저자는이철학적전환이어떻게일어났는지를추적하면서,장기론의‘기대값계산’이실현확률이극히낮은시나리오에도천문학적수치를부여해현재의빈곤,기후위기,전쟁보다아직일어나지않은AI대재앙이나우주식민지건설이더시급한문제라는결론에이르고마는과정을꼼꼼히따라간다.
이논리의귀결점에샘뱅크먼프리드(SBF)의FTX사건이있다.매캐스킬은SBF를효율적이타주의의가장성공적인실천사례로내세웠고,SBF자신도‘주기위해벌기(EarntoGive)’운동의모범이라자처했다.베커는‘인류의장기적미래를위해가능한한많이벌어야한다’는논리가어떻게80억달러규모의금융사기를도덕적사명으로포장하는면죄부가되었는지,그리고이논리구조가SBF개인의일탈이아니라장기론이라는철학자체에내재된위험이었음을논증한다.
“AGI가올때까지0에서2개사이의비약적발전만있으면된다”
특이점신앙과AI종말론의실체
레이커즈와일은기술발전이지수적으로가속화되어2045년경인간을초월하는기계지능,‘특이점(Singularity)’이탄생할것이라예언했다.이이론은실리콘밸리의복음이되었고,커즈와일자신은구글의엔지니어링디렉터로초빙되었다.베커는커즈와일이이이론의근거로내세우는‘수확가속의법칙’이무어의법칙을진화사전체로무리하게확장한것이며,기술사에서실제로관찰되는것은가속이아니라‘수확체감’,즉혁신의속도가점차둔화되는현상이라는점을과학적으로입증한다.커즈와일이세상을떠난아버지를AI로부활시키겠다는개인적열망을특이점이론에투사했다는지적은이‘과학’의종교적본질을드러낸다.
한편엘리에저유드코스키와기계지능연구소(MIRI)를중심으로한AI종말론은인간보다뛰어난AGI가통제를벗어나인류를소멸시킬수있다는공포를유포한다.유드코스키는저자와의인터뷰에서AGI의등장이“50년보다는5년내”라고단언하며,AGI가인류를소멸시키지못하도록핵무기로위협해서라도강제로AGI연구를중단시켜야한다고주장한다.
유드코스키의경고는일견기술낙관론자들의대극에서있는것처럼보인다.그러나이책이추적하는핵심은바로이대립이허구라는점이다.AGI의등장은임박했고,기술발전은필연이며인류의유일한선택지라는전제에서양측은차이가없다.다만그필연적미래의결론—구원이냐재앙이냐—만다를뿐이다.그리고어느쪽이든바라는바는같다.그미래의방향을설정할권한이자신들에게주어져야한다는것,기술발전과인류미래의흐름을만들기위한자원과권력이자신들에게집중되어야한다는것이다.
베커는유드코스키가경고하는묵시록적서사가‘현재’AI가만들어내는편향,감시,노동대체,에너지소비등의실질적인문제들로부터시선을돌리고,기술업계에규제를피할명분과더많은자원을끌어모을구실을동시에제공하는기능을수행한다고분석한다.또한이운동의뿌리가온라인커뮤니티〈덜틀리기(LessWrong)〉에서시작된‘이성론(rationalism)’운동에있으며,이것이효율적이타주의와결합하면서하나의자기강화적사상생태계를형성했음을보여준다.
“우주식민지화가1초늦어지면100조명이죽는다”
학계의비호와정치적침투
옥스퍼드대학교의‘인류의미래연구소(FHI)’는장기론의학문적요새였다.닉보스트롬은우주식민지화가1초늦어질때마다100조명의잠재적인명손실이발생한다는극단적계산을내놓았고,안데르스산드베리는인간정신을컴퓨터에이식하는‘마인드업로딩’의가능성을주장했다.베커는이러한학술적계산들의전제가얼마나임의적인지를하나하나따져본다.자기복제탐사선,다이슨구,영원히팽창하는우주문명—이모든것이실현가능하다는전제위에서만그숫자가성립하며,그전제자체가과학적으로뒷받침되지않는다.
특히저자는이사상이이미현실정치에깊이침투해있음을경고한다.효율적이타주의운동의최대후원자인오픈자선(OpenPhilanthropy)은조지타운대학교에안보·신기술센터(CSET)를설립하여미국정부의AI정책에직접적영향력을행사하고있다.매캐스킬은일론머스크를SBF에게소개하는역할을했고,오픈AI대표샘올트먼은미상원청문회에서증언하고바이든대통령을만나면서AI의미래를주도하겠다는야심을드러냈다.
한편,넷스케이프창업자이자벤처자본가마크앤드리슨은‘기술낙관주의자선언(TheTechno-OptimistManifesto)’을통해AI발전의지연은곧살인과다름없다고주장했다.베커는앤드리슨이아무리이성론자·효율적이타주의자와다르다고증명하려해도정작사고방식에서차이가나지않는다고지적한다.결론만다를뿐,거의같은기본전제,기술발전은필연적이고,항구적성장은가능하며,인류의운명은우주를향해있다는것에서출발하기때문이다.기술가속주의든AI종말론이든효율적이타주의든,귀결점은동일하다.기술억만장자들의부의축적과권력강화를도덕적사명으로포장하는것이다.
그미래는오지않는다.
그러나그꿈은이미우리를지배하고있다
이책이분석하는사상이현실을주도하는광경을우리는이미목도하고있다.일론머스크는미국연방정부의예산삭감을주도했고,오픈AI는비영리법인에서영리기업으로의전환을마쳤으며,빅테크기업들의시가총액은웬만한국가의GDP를초월한다.이책이해부하는‘기술권력’이단순한망상이나비방이아니라이미현실의정치·경제질서를재편하는동력이되고있다는증거이다.
AI패권경쟁,반도체공급망재편,빅테크의정치적영향력확대.이같은현상은한국사회에도직접적으로영향을미치고있다.삼성과SK같은반도체기업이글로벌공급망의핵심축을이루고,AI기술도입이산업전반에서가속화되는상황에서실리콘밸리억만장자들의비전이어떤사상적토대위에서있는지이해하는것은단순한교양이아니라전략적필수과제이다.또한이책이분석하는‘효율적이타주의’와‘기술가속주의’같은사조는한국의스타트업생태계와기술정책담론에도이미번역·수입되고있어,그사상적맥락과위험을이해하는것이더할나위없이중요하다.
이책은기술비판서로시작하지만,결국인간에대한책으로끝난다.마지막장〈전대미답의장소〉에서저자는자신의이야기를꺼낸다.칼세이건의『코스모스』에매혹되고《스타트렉》을보며우주를꿈꾸던소년이었다는것.과학이인류를더나은곳으로이끌어줄것이라는믿음은이책의비판대상만의것이아니라저자자신의것이기도했다.그러나베커는묻는다.그꿈이소수의독점물이되어나머지인류의현재를짓밟는도구가될때,우리는무엇을선택해야하는가.
지구온난화,불평등,핵전쟁의위험은에너지를더쓰고기술을더개발한다고해결되지않는다.설득,정의,공정이필요한정치적문제들이기때문이다.만병통치약도유토피아도없다는것을받아들이는것이인류의미래를위한길이다.우리를구원하러오는존재는없다.기술에세상의치유를맡길수없다.우리가직접해야한다.
80년도전에전미국연방대법관루이스브랜다이스가“민주주의를가질수도있고,소수에게부가집중될수도있지만,동시에는할수없다”라고역설한것처럼,지난10년동안부의집중으로인해민주주의는약화되고있으며,억만장자의존재자체가민주주의를위협하는것처럼보이기까지한다.저자는어슐러K.르귄의말을빌어책을마무리한다.자본주의의종말보다세계의종말이더상상하기쉬운시대이지만,인간의저항을통해바꾸지못할인간의권력이란없다고.억만장자들이불가능한미래를필연적운명이라포장하는이유는,우리로하여금당연한미래,정해진미래같은것은없다는사실을잊게만들기위해서이다.이책은바로그사실을상기시킨다.책의마지막에서저자가역설하듯이,“미래는열려있다.”
