“세계를구원하기위해돈을번다”
선한의도는어떻게금융사기의면죄부가되었을까
이책의출발점은‘효율적이타주의(EffectiveAltruism)’라는철학운동이다.피터싱어의‘가장효율적인방법으로세계의고통을줄이자’는제안에서출발한이운동은,윌리엄매캐스킬의손을거치면서‘장기론(longtermism)’,즉미래에존재할수조명의잠재적인류가현재의80억보다도덕적으로더중요하다는사고로변질된다.이변질을단적으로보여주는매캐스킬의주장이있다.“지구온도가7~10℃올라가난한농경국가들이타격을입게되더라도,곧바로인류문명의붕괴로이어지는것은아니다.”저자는이철학적전환이어떻게일어났는지를추적하면서,장기론의‘기대값계산’이실현확률이극히낮은시나리오에도천문학적수치를부여해현재의빈곤,기후위기,전쟁보다아직일어나지않은AI대재앙이나우주식민지건설이더시급한문제라는결론에이르고마는과정을꼼꼼히따라간다.
이논리의귀결점에샘뱅크먼프리드(SBF)의FTX사건이있다.매캐스킬은SBF를효율적이타주의의가장성공적인실천사례로내세웠고,SBF자신도‘주기위해벌기(EarntoGive)’운동의모범이라자처했다.베커는‘인류의장기적미래를위해가능한한많이벌어야한다’는논리가어떻게80억달러규모의금융사기를도덕적사명으로포장하는면죄부가되었는지,그리고이논리구조가SBF개인의일탈이아니라장기론이라는철학자체에내재된위험이었음을논증한다.
“AGI가올때까지0에서2개사이의비약적발전만있으면된다”
특이점신앙과AI종말론의실체
레이커즈와일은기술발전이지수적으로가속화되어2045년경인간을초월하는기계지능,‘특이점(Singularity)’이탄생할것이라예언했다.이이론은실리콘밸리의복음이되었고,커즈와일자신은구글의엔지니어링디렉터로초빙되었다.베커는커즈와일이이이론의근거로내세우는‘수확가속의법칙’이무어의법칙을진화사전체로무리하게확장한것이며,기술사에서실제로관찰되는것은가속이아니라‘수확체감’,즉혁신의속도가점차둔화되는현상이라는점을과학적으로입증한다.커즈와일이세상을떠난아버지를AI로부활시키겠다는개인적열망을특이점이론에투사했다는지적은이‘과학’의종교적본질을드러낸다.
한편엘리에저유드코스키와기계지능연구소(MIRI)를중심으로한AI종말론은인간보다뛰어난AGI가통제를벗어나인류를소멸시킬수있다는공포를유포한다.유드코스키는저자와의인터뷰에서AGI의등장이“50년보다는5년내”라고단언하며,AGI가인류를소멸시키지못하도록핵무기로위협해서라도강제로AGI연구를중단시켜야한다고주장한다.
유드코스키의경고는일견기술낙관론자들의대극에서있는것처럼보인다.그러나이책이추적하는핵심은바로이대립이허구라는점이다.AGI의등장은임박했고,기술발전은필연이며인류의유일한선택지라는전제에서양측은차이가없다.다만그필연적미래의결론-구원이냐재앙이냐-만다를뿐이다.그리고어느쪽이든바라는바는같다.그미래의방향을설정할권한이자신들에게주어져야한다는것,기술발전과인류미래의흐름을만들기위한자원과권력이자신들에게집중되어야한다는것이다.
베커는유드코스키가경고하는묵시록적서사가‘현재’AI가만들어내는편향,감시,노동대체,에너지소비등의실질적인문제들로부터시선을돌리고,기술업계에규제를피할명분과더많은자원을끌어모을구실을동시에제공하는기능을수행한다고분석한다.또한이운동의뿌리가온라인커뮤니티〈덜틀리기(LessWrong)〉에서시작된‘이성론(rationalism)’운동에있으며,이것이효율적이타주의와결합하면서하나의자기강화적사상생태계를형성했음을보여준다.
“우주식민지화가1초늦어지면100조명이죽는다”
학계의비호와정치적침투
옥스퍼드대학교의‘인류의미래연구소(FHI)’는장기론의학문적요새였다.닉보스트롬은우주식민지화가1초늦어질때마다100조명의잠재적인명손실이발생한다는극단적계산을내놓았고,안데르스산드베리는인간정신을컴퓨터에이식하는‘마인드업로딩’의가능성을주장했다.베커는이러한학술적계산들의전제가얼마나임의적인지를하나하나따져본다.자기복제탐사선,다이슨구,영원히팽창하는우주문명-이모든것이실현가능하다는전제위에서만그숫자가성립하며,그전제자체가과학적으로뒷받침되지않는다.
특히저자는이사상이이미현실정치에깊이침투해있음을경고한다.효율적이타주의운동의최대후원자인오픈자선(OpenPhilanthropy)은조지타운대학교에안보·신기술센터(CSET)를설립하여미국정부의AI정책에직접적영향력을행사하고있다.매캐스킬은일론머스크를SBF에게소개하는역할을했고,오픈AI대표샘올트먼은미상원청문회에서증언하고바이든대통령을만나면서AI의미래를주도하겠다는야심을드러냈다.
한편,넷스케이프창업자이자벤처자본가마크앤드리슨은‘기술낙관주의자선언(TheTechno-OptimistManifesto)’을통해AI발전의지연은곧살인과다름없다고주장했다.베커는앤드리슨이아무리이성론자·효율적이타주의자와다르다고증명하려해도정작사고방식에서차이가나지않는다고지적한다.결론만다를뿐,거의같은기본전제,기술발전은필연적이고,항구적성장은가능하며,인류의운명은우주를향해있다는것에서출발하기때문이다.기술가속주의든AI종말론이든효율적이타주의든,귀결점은동일하다.기술억만장자들의부의축적과권력강화를도덕적사명으로포장하는것이다.
그미래는오지않는다.
그러나그꿈은이미우리를지배하고있다
이책이분석하는사상이현실을주도하는광경을우리는이미목도하고있다.일론머스크는미국연방정부의예산삭감을주도했고,오픈AI는비영리법인에서영리기업으로의전환을마쳤으며,빅테크기업들의시가총액은웬만한국가의GDP를초월한다.이책이해부하는‘기술권력’이단순한망상이나비방이아니라이미현실의정치·경제질서를재편하는동력이되고있다는증거이다.
AI패권경쟁,반도체공급망재편,빅테크의정치적영향력확대.이같은현상은한국사회에도직접적으로영향을미치고있다.삼성과SK같은반도체기업이글로벌공급망의핵심축을이루고,AI기술도입이산업전반에서가속화되는상황에서실리콘밸리억만장자들의비전이어떤사상적토대위에서있는지이해하는것은단순한교양이아니라전략적필수과제이다.또한이책이분석하는‘효율적이타주의’와‘기술가속주의’같은사조는한국의스타트업생태계와기술정책담론에도이미번역·수입되고있어,그사상적맥락과위험을이해하는것이더할나위없이중요하다.
이책은기술비판서로시작하지만,결국인간에대한책으로끝난다.마지막장〈전대미답의장소〉에서저자는자신의이야기를꺼낸다.칼세이건의『코스모스』에매혹되고『스타트렉』을보며우주를꿈꾸던소년이었다는것.과학이인류를더나은곳으로이끌어줄것이라는믿음은이책의비판대상만의것이아니라저자자신의것이기도했다.그러나베커는묻는다.그꿈이소수의독점물이되어나머지인류의현재를짓밟는도구가될때,우리는무엇을선택해야하는가.
지구온난화,불평등,핵전쟁의위험은에너지를더쓰고기술을더개발한다고해결되지않는다.설득,정의,공정이필요한정치적문제들이기때문이다.만병통치약도유토피아도없다는것을받아들이는것이인류의미래를위한길이다.우리를구원하러오는존재는없다.기술에세상의치유를맡길수없다.우리가직접해야한다.
80년도전에전미국연방대법관루이스브랜다이스가“민주주의를가질수도있고,소수에게부가집중될수도있지만,동시에는할수없다”라고역설한것처럼,지난10년동안부의집중으로인해민주주의는약화되고있으며,억만장자의존재자체가민주주의를위협하는것처럼보이기까지한다.저자는어슐러K.르귄의말을빌어책을마무리한다.자본주의의종말보다세계의종말이더상상하기쉬운시대이지만,인간의저항을통해바꾸지못할인간의권력이란없다고.억만장자들이불가능한미래를필연적운명이라포장하는이유는,우리로하여금당연한미래,정해진미래같은것은없다는사실을잊게만들기위해서이다.이책은바로그사실을상기시킨다.책의마지막에서저자가역설하듯이,“미래는열려있다.”
[미디어추천평]
인공지능의힘에대한무한한신뢰를옹호하고,또그로부터이익을거둬온미래주의자집단이내세우는아이디어에대한설득력있는탐사.이런기술주도비전에맞서는일이필수적인이유는,그것이이미사회의통치방식에영향을미치기시작했기때문이다.
_『네이처(Nature)』
불온하다…….『기술이인류를구원한다는착각』은독자의뒤통수를치면서도도저히손을뗄수없게만드는중요한책이다.
_『뉴사이언티스트(NewScientist)』
서슬퍼런대중과학서……이억만장자들의주장이얼마나허황되고,어리석고,혹은기만적인지를여실히드러내며,과대선전에대한강력한해독제가되어주는책.
_『뉴요커(TheNewYorker)』'GoingsOn'뉴스레터
영리하고,놀라울만큼잘읽힌다……베커가다루는테크인물들에대한날카로운비판속에는연민을향한단호한호소가담겨있다.저먼은하에매달리지말고,우리발밑의연약한행성과그위에사는연약한인간들에게더많은관심을기울이라는것이다.
_『뉴욕타임스(TheNewYorkTimes)』
중독성있고빼어난저작.이주제가마땅히받아야할신랄한경멸을유감없이쏟아붓는다.흡사〈라스베가스의공포와혐오〉의실리콘밸리판이다.
_『뉴질랜드헤럴드(NewZealandHerald)』
또렷한눈으로인간을바라보자는호소…….억만장자들의우주경쟁과AI과대선전이헤드라인을지배하는시대에,『기술이인류를구원한다는착각』은절실히필요한현실점검으로서독자들에게와닿는다.
_『애틀랜틱(TheAtlantic)』
훌륭하고활기차다…….AI기술이실제로어떻게작동하는지를다루는책은많지만,그것이‘신화로서’어떻게작동하는지를설명하는책은거의없다.수많은AI지도자들이왜자신의기술이죽음의상처를치유하고,거의무한한풍요를가져다주며,우리를은하계로이끌어줄것이라믿는지이해하고싶다면,바로이책을읽어야한다.
_『로페어(Lawfare)』
베커는실리콘밸리의이데올로기에꼭필요한비판적검토를가하며,수많은기술억만장자들이복음처럼떠받드는허무맹랑한아이디어에구멍을뚫고,나아가통쾌하게조롱한다.그는현실을옹호하는동시에,기술억만장자들이결코도래할수없는미래를향해우리를밀어붙이고있다는위험을백일하에드러낸다.
_『롤링스톤(RollingStone)』
기술억만장자들은잘못해석된공상과학,잘못이해된인지심리학,죽음에대한공포,그리고천문학적인돈을벌면서도도덕적정당성을확보하고싶은욕구를토대로일종의종교를만들어냈다.베커는이러한목표이면의부정확한과학적·수학적·도덕적신념을해부하는데탁월하다.
_『리액터매거진(ReactorMagazine)』
오늘날의예언자들에대한냉철한평가.
_『보스턴글로브(TheBostonGlobe)』
세계를좌우하는기술억만장자들의권력을줄이라는긴급한호소.베커는시의적절하고사실에기반한경종을울린다.그의거침없는비판은그들의권력을허무는데근본적으로기여한다.
_『사이언스(Science)』
깊이있는취재와몰입감넘치는서사.
『사이언스뉴스(ScienceNews)』
매혹적이면서도분노를자아낸다.이책은세계에서가장강력한권력자들이어떤식으로사고하는지를드러내는동시에,거기에어떻게맞서싸울수있는지도보여준다.
_『사이언티픽아
