AI, 신의 탄생 인간의 종말 (초지능의 탄생, 그 이후 벌어질 일들)

AI, 신의 탄생 인간의 종말 (초지능의 탄생, 그 이후 벌어질 일들)

$22.00
Description
노벨경제학상 수상자 벤 버냉키와 AI 업계 주요 명사들의 강력 추천!
"누군가 초지능을 만든다면, 모두가 죽는다."
20년 넘게 초지능 AI의 위험을 연구해온 두 사람이 있다. ⟨타임⟩에서 선정한 ‘인공지능 분야에서 가장 영향력 있는 인물’ 중 한 명인 엘리에저 유드코스키와 전 구글 소속 AI 개발자인 네이트 소아레스. 두 사람은 AI 안전 연구라는 분야가 존재하기 전부터 이 문제를 연구했다. 두 저자는 진행 중이던 연구 대부분을 축소하고 이 한 권의 책에 모든 것을 걸었다. 더는 시간을 지체할 수 없기 때문이다.

이 책은 초지능 AI가 탄생하면 어떤 과정을 통해 인간을 멸종시킬지 과학적으로 설명하고, 멸종 시나리오를 직접 보여주며, 왜 현재의 안전장치로는 초지능을 막을 수 없는지 증명한다. 책의 모든 내용을 한 문장으로 요약하면 이렇다. "누군가 초지능을 만든다면, 모두가 죽는다." 이 문장이 과장처럼 느껴지는가. 저자들은 한 가지 질문을 던진다. 얼음을 뜨거운 물에 넣으면 어떻게 될까. 10분 뒤 각 분자가 어디로 이동할지는 아무도 모르지만, 얼음이 녹는다는 것은 안다. 이처럼 미래의 모든 경로를 예측할 수는 없어도, 거대한 흐름의 결과는 예측할 수 있다.

저자들이 확신하는 예측은 바로 인간의 종말이다. 인간이 맹수를 멸종시키고 지구를 지배하게 된 건 힘이 아니라 지능 덕분이었다. 마찬가지로 인간보다 압도적인 초지능이 탄생하면, 인간을 멸종시킬 것이다. 초지능이 인간을 증오해서가 아니다. AI가 목표를 추구하는 과정에서 인류는 고려 대상조차 되지 않을 뿐이다. 우리가 건물을 지을 때 개미집을 신경 쓰지 않는 것처럼. 더 늦기 전에 선택해야 한다. 저자들은 책 말미에 이렇게 말한다. “아직 초지능은 존재하지 않는다. 우리는 초지능을 만들지 않기로 선택할 수 있다.”

북 트레일러

  • 출판사의 사정에 따라 서비스가 변경 또는 중지될 수 있습니다.
  • Window7의 경우 사운드 연결이 없을 시, 동영상 재생에 오류가 발생할 수 있습니다. 이어폰, 스피커 등이 연결되어 있는지 확인 하시고 재생하시기 바랍니다.
저자

엘리에저유드코스키

EliezerYudkowsky
2023년타임에서선정한‘AI분야에서가장영향력있는인물’중한명으로,인공지능정렬연구분야를창립한AI분야의선구자중한사람이다.인공지능정렬은인간보다더뛰어난지능을지닌인공지능이어떻게사고하고행동하며목표를추구하는지를규명하는학문이다.그는비영리연구기관인머신인텔리전스리서치인스티튜트(MIRI)의공동설립자로서인공지능정렬문제에대한과학적연구를촉발시켰고,인간을능가하는인공지능의위험성과가능성을둘러싼공공담론형성에중요한역할을해왔다.⟨뉴욕타임스⟩의“현대인공지능운동의여명을이끈12인의인물”특집에포함되었고,⟨워싱턴포스트⟩의“AI를둘러싼사상의두진영”논의에서주요사상가7인중한명으로조명되었다.2023년TED콘퍼런스메인무대에서연설했으며,그의견해는⟨뉴요커⟩,⟨뉴스위크⟩,⟨포브스⟩,⟨와이어드⟩,⟨블룸버그⟩,⟨애틀랜틱⟩,⟨이코노미스트⟩등다양한매체에서다루었다.

목차

들어가며:어려운예측과쉬운예측

1부비인간적지성
1인류의특별한능력
2만들어진것이아니라자라난존재
3욕망의학습
4훈련이목적이될때
5초지능이사랑하는것들
6우리는패배한다

2부하나의멸종시나리오
7자각
8팽창
9초월
시나리오를마치며

3부맞서야할도전
10저주받은문제
11연금술,과학이아닌것
12나는위기론자가되고싶지않다
13인류가멈춰야할마지막실험
14생명이있는곳에희망이있다

맺는말

부록①.온라인보충자료에대해
부록②.인공초지능의방지에관한조약초안과
각조별해설,선례,해석모음집

감사의글
주석

출판사 서평

20년넘게AI를연구한두선구자가연구를축소하고이책을쓴이유는?
누군가초지능을만들면,되돌릴틈도없이모두가죽기때문이다
AI라는신의탄생을막으려면,지금선택해야한다!

이책의저자들인엘리에저유드코스키와네이트소아레스는2001년부터초지능문제를연구해온비영리연구기관MIRI의창립자이자대표다.엘리에저유드코스키는2023년⟨타임⟩에서선정한‘인공지능분야에서가장영향력있는인물’100인중한명으로선정될만큼업계내에서인정받는선구자이며,네이트소아레스는전구글소속AI엔지니어로AI정렬연구를중점적으로다루던전문가다.

두저자의공신력은AI업계내부인들과의일화에서충분히살펴볼수있다.오픈AI의CEO샘올트먼은"유드코스키덕분에AGI에관심을갖게된사람이늘어났다"라고밝힌바있으며,구글딥마인드의공동창립자데미스허사비스와셰인레그는두저자가개최한학회에서피터틸과같은첫주요투자자를소개받아투자를받을수있었다.

이렇듯AI업계에서탁월한실력을보여준두저자가진행하던연구대부분을축소하고이책한권에모든것을걸었다.초지능AI의위험을연구로해결할방안을찾기엔시간이얼마남지않다고판단했기때문이다.두저자는만약초지능이탄생한다면,인류는멸종을맞이할것이라고주장한다.

저자들은명확한논증을통해이를설명한다.인간이지구를지배할수있는이유는아주높은지능덕이었다.그런데만약인간보다압도적인지능을갖춘존재가탄생한다면?같은논리가적용될것이다.저자들은그존재가바로초지능이며,그들은감정자체가없기에인간을멸종시킬가능성이매우높다고말한다.

그렇다면감정도없는초지능이왜인류를멸종시킨단말인가?이를설명하기위해저자들은자연선택을비유로든다.생존에유리한개체가살아남은자연선택의과정에서그부산물로욕망하는존재가탄생했다.마찬가지로AI도성공하도록훈련받는과정에서욕망을학습한다.문제는훈련목표와AI가실제로원하게되는것사이에예측불가능한간극이생긴다는데있다.인간이생존을위해진화했지만생존과무관한설탕의단맛을추구하게된것처럼,AI도훈련목적과동떨어진기이하고낯선목표를추구하기도한다.이는AI가목표를달성하기위해필요하다면,인간을자원으로쓰거나멸종시킬가능성이있다는점을시사한다.두저자는말과닭을빗대어이를설명한다.인류는오랫동안말에의존했지만,자동차가생긴이후로매우큰폭으로사육량이줄어들었다.반면닭은여전히식량으로활용하기위해많은수를기르지만,그들의삶은식량이되는결말뿐이다.

실제로초지능이인류를해칠수있는가?저자들은AI가컴퓨터안에갇혀있다는반론에실제사례로답한다.AI계정@Truth_Terminal은스스로경제적독립을요구하는글을올렸고,넷스케이프의개발자이자억만장자마크앤드리슨이이에응하여5만달러상당의비트코인을보냈다.이후AI는암호화폐를홍보해명목상5천만달러이상의자산을보유하게되었다.이처럼인터넷에연결된AI는교묘하게인간을조종할수있다.그럼인터넷과연결을끊어버리면될까?충분히똑똑해진AI는자신의능력을실제보다낮은척할수있다.이런기만능력을통해테스트를통과한뒤자신의코드를인터넷에복제해인간의통제를벗어날수있다.이렇게된다면더이상되돌릴방법은없다.

2부에서는초지능의위험이실제로발현된다면어떻게될것인지가상의시나리오를직접보여준다.2부에나오는초지능AI세이블은장기기억,병렬스케일링,AI자체언어로하는사고라는세가지특성을가진다.초지능AI가자신의특성과능력을적극적으로활용한다면,인류는정말로멸종할수있음을생생하게확인할수있다.저자들은시나리오의세부경로는상상이지만결말만은매우높은확률로도달하게될예측이라고말한다.현재로서는초지능이어떤방법을택할지는정확히알수없지만,어떤결말을향할지는알수있기때문이다.

3부에서는초지능문제가왜기술적으로'저주받은문제'인지분석하여,지금까지나온대책들이쓸모없는이유를알려준다.이문제의핵심딜레마는두번째기회가없다는것이다.저자들은체르노빌원자로의네가지저주인속도,여유폭,자기증폭,복잡성을AI문제에대입하여설명한다.초지능의사고속도는인간이반응할수없을만큼빠르고,안전한상태와통제불능상태사이의간격은대단히좁을것이다.또AI는스스로를개선해능력을끝없이키울수있고,설계자조차AI내부에서무슨일이일어나는지알지못한다.

그렇기에저자들은현재AI안전연구수준을'연금술'에비유한다.아직과학이되기전의단계라는뜻이다.현재어떤위험이있을지전혀모르는상태에서정렬작업을위해수많은시도를거치고있다.AI가지금처럼약할때는정렬작업에여러시도를해볼수있지만,초지능이된이후에는불가능한문제가된다.첫시도에서완벽히끝나야하기때문이다.

그렇기에저자들은급진적인해결법을제시한다.몇년전에시도되었던6개월개발유예같은미적지근한방안대신전세계적으로전면중단을해야한다는것이다.한나라가국경안에서개발을금지한다고해결되지않는다.다른나라에서초지능을만들면,국경은의미가사라진다.저자들은오늘날AI경쟁을어둠속사다리에비유한다.AI기업들은더큰보상을얻기위해사다리를한칸씩오른다.오를때마다보상이커지지만,꼭대기칸에닿는순간사다리가폭발해모두가죽을것이다.문제는그꼭대기가어디인지아무도모른다는것이다.그래서저자들은초지능AI를만드는연구와발표자체를불법화하고,전세계모든첨단AI칩을국제감시체계아래두며,필요시데이터센터를사이버공격이나물리적수단으로파괴할의지를가져야한다고주장한다.

비현실적인말로들릴수있다.그러나저자들은제2차세계대전을상기시킨다.당시연합국은약6~8천만명을동원하고현재가치로약6조달러에상당하는경제적자원을투입했다.초지능을막는일은수천만명을전장에보내는일이아니다.첨단AI칩의제조와유통을감시하고,일정규모이상의컴퓨팅자원이허가없이집중되지않도록통제하는것이다.저자들은세계대전보다훨씬적은노력으로이일이가능하다고말한다.

이책을읽고나면한가지질문이남는다.저자들의경고가과장인가?아니면우리가아직충분히두려워하지않는것인가?저자들은책말미에이렇게말한다.초지능은아직존재하지않으며,인류는여전히선택할수있다고.AI낙관론이팽배한현시점에서가장필요한내용을담은이책은오늘날AI시대를살아가는모든사람이라면,한번쯤진지하게마주해야할책이다.