스튜어트러셀
저자:스튜어트러셀StuartRussell
버클리에있는캘리포니아대학교컴퓨터과학교수이자공학부문스미스자데이석좌교수.옥스퍼드대학교웨덤칼리지에서물리학을공부하고스탠퍼드대학교에서컴퓨터과학으로박사학위를받았다.기계학습,확률론적추론,실시간의사결정,계산생리학및철학적기초를포함한인공지능의광범위한주제를놓고연구했고,지금은자율무기의위협,인공지능의장기적미래및인류와의관계등에도관심을두고있다.미국인공지능협회,컴퓨터학회,미국과학진흥협회회원이며,세계경제포럼의AI와로봇학위원회부의장,유엔군축문제고문도맡고있다.2016서울디지털포럼,2020서울포럼등에서강연하기도했다.
구글리서치디렉터피터노빅과함께《인공지능:현대적접근방식》(1995)을썼다.AI분야의결정판교과서로널리인정받고있는《인공지능》(현재4판)은13개언어로번역되어118개국,1,500여대학에서교재로사용되고있다.2016년에는UC버클리를중심으로여러대학과기관이협력하는연구기관‘휴먼컴패터블AI센터’를설립하여AI연구의일반적인추진방향을증명가능하게유익한AI시스템쪽으로재설정하는데필요한개념적·기술적도구를개발해왔고,그결과물을이책에담았다.
역자:이한음
서울대학교에서생물학을공부했고,번역가및저술가로활동하고있다.지은책으로《위기의지구돔을구하라》《타임머신과과학좀하는로봇》등이있으며,옮긴책으로《스케일》《만들어진신》《바디》《유전자의내밀한역사》《노화의종말》《통찰의시대》《알고리즘,인생을계산하다》《생명이란무엇인가》등이있다.
들어가는말
왜이책일까?왜지금일까?
이책의개요
1.우리가성공한다면
우리는어떻게여기까지왔을까?
다음은어떻게될까?
무엇이잘못되었을까?
바로잡을수있을까?
2.인간과기계의지능
지능
컴퓨터
지적인컴퓨터
3.앞으로AI는어떻게발전할까?
가까운미래
초지능AI는언제출현할까?
다가올개념적돌파구
초지능기계를상상하다
초지능의한계
AI는인류에게어떻게혜택을줄까?
4.AI의오용
감시,설득,통제
치명적인자율무기
우리가아는방식의일없애기
빼앗길다른역할들
5.지나치게지적인AI
고릴라문제
미다스왕문제
두려움과탐욕:도구적목표
지능폭발
6.그저그런AI논쟁
부정
비껴가기
부족주의
그냥…
논쟁의재개
7.AI:다른접근법
이로운기계의원칙들
낙관론의근거
신중해야할이유
8.증명가능하게이로운AI
수학적보증
행동으로부터선호배우기
돕기게임
요구와명령
와이어헤딩
순환적자기개선
9.상황을복잡하게만드는요인:우리들
다양한사람들
많은사람들
멋지고,추하고,질투하는인간
어리석으면서감정적인인간
사람은정말로선호를지닐까?
10.해결된문제는?
이로운기계
AI제어
오용
나약화와인간의자율성
부록A해결책탐색
부록B지식과논리
부록C불확실성과확률
부록D경험을통한학습
감사의말
주
사진저작권
옮기고나서
찾아보기
“현재AI는매일같이언론의전면을장식한다.밀려드는벤처자본에힘입어서수많은스타트업기업이생겨나고있다.온라인으로AI와기계학습강좌를듣는학생이수백만명에이르고,이분야의전문가들은수백만달러의봉급을요구한다.벤처펀드,정부,대기업에서연간수백억달러의투자금이쏟아지고있다.이분야가출범한이래받은돈보다지난5년사이에받은돈이더많다.자율주행차와개인비서처럼이분야에서이미이루어진발전들은앞으로10여년사이에전세계에상당한영향을미칠가능성이크다.AI가가져올경제적사회적혜택은엄청나고,그런혜택은AI연구에더욱큰추진력을부여할것이다.”(21쪽)
인공지능연구에사람과자금이몰리고있다.“미국,중국,프랑스,영국,유럽연합에서앞다투어AI연구에수십억달러씩투자하겠다고발표하고나섰고”(267쪽),이는한국의실정도크게다르지않다.기업들이개발자구인난을하소연하고있다는기사나,유명대학들에서인공지능대학원을신설하고유능한교수진을확보하려고열을올리고있다는기사를자주볼수있다.새로이찾아온인공지능연구의황금기다.그러면인공지능연구는어디까지왔는가?어디까지발전할까?인간보다뛰어난인공지능이만들어지면과연인류의난제들이해결되고단박에삶의질이올라갈것인가,아니면영화에서흔히보는것처럼인류의생존자체가위협받을것인가?표준적인인공지능교과서《인공지능》의저자로유명한UC버클리의스튜어트러셀교수는그동안AI의위험에대해누구보다사려깊은목소리를내왔다.이분야에정통한일급연구자로서오랜세월고민하고탐구해온내용,트롤리문제가사소하게느껴질만치넓고깊은논의를《어떻게인간과공존하는인공지능을만들것인가》에담았다.인공지능이가져올장밋빛미래에대한무책임한낙관과디스토피아적전망을넘어현실적이고폭넓은관점에서AI의발전이가져올문제들,초지능AI에대한다양한입장들을검토하며,탄탄한근거와더불어인간에게이로운AI를만들기위한방향과원칙까지제안한다.지금의AI논쟁을이해하기위한필독서이자,인공지능의발전방향을전망하고기술의작동방식을이해하기위한가이드다.
AI의현주소,가능성과위험,인간친화적개발방향을담은
손꼽히는인공지능권위자UC버클리스튜어트러셀교수의역작
“우리지능보다훨씬더뛰어난지능을만난다는것은인류역사상가장큰사건이될것이다.이책의목적은왜그일이인류역사의마지막사건이될수도있는지,그리고그렇게되지않게하려면어떻게해야하는지를설명하는것이다.”(10쪽)
SF소설과영화,그리고대중의상상속에등장하는미래의AI는무시무시한능력을지닌존재,일자리와인간관계뿐아니라문명과인류의생존자체를위협하는존재다.인간과기계사이의충돌은불가피하며,결국인류에게는파국적인미래가기다리고있을것으로그려진다.하지만스튜어트러셀은그같은시나리오를피할수있다고주장한다.단,그러려면AI를근본적으로다시생각해야한다.
저자는인간과기계에서의지능이라는개념을살펴보는것으로논의를시작해(2장),지적인개인비서,자율주행차,가정용로봇에서세계적인규모감지능력등에서인공지능의능력이어디까지왔는지를살펴보고,인간수준의범용인공지능이등장하려면이루어져야할돌파구들을개괄한다.그리하여현재사용되고있는특정분야에특화된인공지능을넘어범용인공지능이등장했을때,생활수준,교육,건강등각부문에서가능해질일들에대해서도살펴본다(3장).
물론인공지능의능력이커져감에따라생기는문제들도있다.인공지능을활용해기업과국가가구사할감시,행동통제에서부터치명적인자율무기,직업의소멸에이르기까지,인간이이미찾아낸AI의오용방식들과다가올위험들도다룬다(4장).초지능인공지능이출현하면인공지능과인간의관계는지금인간과고릴라가맺고있는관계와비슷해질것이다.러셀은이를‘고릴라문제’라고부르는데,“구체적으로말하면,상당히더뛰어난지능을지닌기계가존재하는세상에서인류가우월성과자율성을유지할수있느냐하는문제다”(196-197쪽).소설《에레혼》이나《듄》에서는인류의실존을불안하게하는이같은위험에맞서기계를금지하는세계가등장하지만,오늘의현실에서범용AI연구를금지하기란쉽지않다.결국초지능인공지능은‘우리가부여한목적을실행하기위해’‘우리가의도하지않았던일들을’수행할터인데,이를통제하기란불가능할것이다.(5장)
6장에서는AI의위험을두고현재이루어지고있는논쟁을살펴본다.초지능인공지능의출현가능성을부정하는것에서부터인공지능의위험을비판하는이들을러다이트로몰아가는주장,혹은문제가될만한유형의목표를기계에부여하는것을피하면된다는것까지,현재인공지능의주요연구자들과철학자,사상가,기업가등저명하고영향력있는인물들의입장과주장을비판적으로검토한다.여기에는페이스북의마크저커버그나테슬라의일론머스크,심층학습의선구자얀르쿤,기계학습과자연어연구분야의대가에렌에치오니,저명한인지과학자인스티븐핑커,옥스퍼드대학교의철학자닉보스트롬등저명한지식인들이두루등장한다.하지만안타깝게도저자가보기엔사안의중요성에비해현재이루어지고있는논의는그리높은수준에서이루어지지않고있다.
책의뒷부분에서는AI를바라보는새로운관점과기계가인류에게도움을주는상태로영구히남아있게할방법을제시한다(7-10장).공리주의자제러미벤덤,존스튜어트밀을비롯해G.E.무어,로버트노직,헨리시지윅,데릭파핏같은철학자들,애덤스미스에서존하사니에이르는경제학자들의논의를검토하면서인공지능이인간의선호를어떻게다루도록할지를고민한다.관건은우리가무엇을선호하는지를AI가잘모르게하는것이다.우리는우리의선호를만족시킬것을AI에게요구하는데,그럴때기계가본질적으로인간의선호에관해불확실한상태에있도록설계하자는것이다.그러면기계는자기자신의목적이아니라우리의목표를추구하는일에몰두하는겸손하고이타적인존재가된다.이새로운토대위에서AI를구축한다면,우리를존중하고우리에게유익한기계를만들수있다는것이다.
일급AI연구자의냉정하고거시적인통찰,고유한해결책
기업가나철학자,기자가아닌인공지능분야의전문가가냉정하고거시적이고현실적인관점에서썼다는점에서이책은특별한가치가있다.MIT의물리학자맥스테그마크는《라이프3.0》에서주류연구자들이당면과제,그러니까현재개발중인AI시스템을더영리하게만드는과제에집중할뿐,장기적인결과는숙고하지않으며,이를고민하는이들도대체로문제를입밖에꺼내기를주저한다고지적한바있다.이에비해스튜어트러셀은꽤오랜세월자율무기의위협,인공지능의장기적미래및인류와의관계등에도관심을두고연구했으며,이에대해발언해왔다.세계경제포럼의‘AI와로봇학위원회’부의장,‘유엔군축문제’고문도맡기도했으며,2016년에는UC버클리를중심으로여러대학과기관이협력하는연구기관‘휴먼컴패터블AI센터’를설립하여AI연구의일반적인추진방향을증명가능하게유익한AI시스템쪽으로재설정하는데필요한개념적,기술적도구를개발해왔다.
그는초지능인공지능이금세기중반에는가능할것이라고보는주류연구자들에비해,이번세기내,그러니까80년쯤뒤에는가능할것이라고다소보수적으로전망한다(120쪽).그러면서도기술이가시화될때논의를시작하면이미늦을테니,바로당장이문제를놓고고민해야하며,하루빨리힘을모아해결책을찾아야한다고주장한다.그리고“AI연구를그만둔다는것은실제로이루어질가능성도적을뿐더러(너무나많은혜택을포기해야하기에),실행하기도무척어려우므로”(213쪽)연구의방향을바꾸는것이좀더현실적인대안이라고본다.
‘표준모델’에서‘증명가능하게이로운기계’로
다시말해러셀은표준모델,즉“최적화하는기계를만들고,목적을주입하고,작동시키는”방식으로인공지능을개발하는방식에서벗어나,인간에게‘증명가능하게이로운(provablybeneficial)기계’를만드는방향으로선회할것을제안한다.사실표준모델은작동범위가한정되어있을때는별문제가없다.잘못된목적을주입한다면,전원을끄고,문제를바로잡고,다시시도할기회가충분히있기때문이다.하지만그러나표준모델에따라설계된기계의지능이더올라가고,행동의범위가더세계적이되어감에따라이접근법은유지될수없다.그런기계는자신의목적이얼마나잘못되었든,목적을추구할것이기때문이다.그의접근법은세가지원칙으로요약되는데(“1.기계의목적은오로지인간선호의실현을최대화하는것이다.2.기계는그런선호가무엇인지처음에는확실히알지못한다.3.인간의선호에관한정보의궁극적원천은인간의행동이다“)(254쪽),단순해보이는이원칙은탄탄한논리로뒷받침된다.
“AI의표준모형,즉인간이부여한정해진목표를기계가최적화한다는모형이일종의막다른골목이라고주장하련다.문제는우리가AI시스템을구축하는일에실패할수도있다는것이아니다.우리는대성공을거둘수도있다.문제는AI분야에서성공의정의자체가잘못되었다는것이다.”(32쪽)
“목적이불확실하다는것은기계가필연적으로인간을따를수밖에없다는의미다.즉,기계는허가를요청하고,수정을받아들이고,작동을멈추는일을허용할것이다.기계가명확한목적을지녀야한다는가정을제거한다는것은인공지능의토대중일부를찢어내고다른것으로대체할필요가있다는의미다.우리가이루려고시도하는것의기본정의를말이다.또그상부구조(실제로AI를만들기위해쌓은개념과방법의축적물)중아주많은부분을재구축해야한다는의미다.그렇게한다면,인간과기계는새로운관계를맺게될것이다.”(28-29쪽)
인공지능개발방향에관한사회적논의를위한중요한논점을제공하는책
그가제안한원칙은지금연구현장에서어느정도반향을일으키고적용되고있을까?그를비롯한수많은인공지능전문가들에우려하는것과같이초지능인공지능이잘못된방식으로작동할가능성이높고그영향이심대하다면,이는기업과연구자들에게만맡겨둘수만은없다.인류의미래에가장강력한영향을끼칠가능성이매우높은이기술에관하여개발자는물론시민모두가함께숙고해야할때다.전문가의깊고넓은시야,명쾌한서술,신중하지만단호한그의제안이같은문제를고민하는우리독자들에게도유용한가이드가될것이다.
“인류에게심각한문제를일으킬수있는것에관해걱정하기에알맞은때란그문제가언제일어날것인가뿐아니라,해결책을준비하고실행하는데얼마나걸리는가에따라정해진다.2069년에커다란소행성이지구에충돌할예정임을알게된다면,걱정하기에는너무이르다고말할것인가?정반대다!그위협을막을수단을개발하기위한세계적인비상계획이나올것이다.2068년까지기다렸다가해결책을찾아나서지는않을것이다”(224쪽)
<책속에서>
따라서이런저런AI기법이“인간의뇌처럼작동한다”라는기사를읽을때면,그말이그저누군가의추측이거나그냥허구라고의심해도괜찮다.
정말로우리는의식이라는영역에관해서는아무것도모르기에,나도아무말도하지않으련다.AI분야에서누구도기계에의식을부여하려는연구를하고있지않고,그일을어디에서시작해야할지아는사람도전혀없을것이고,그어떤행동도의식을선행조건으로삼지않는다._36-37쪽
원초적인계산능력에초점을맞추다가는요점을완전히놓치게된다.AI는속도만으로출현시킬수있는것이아니다.엉성하게설계된알고리듬을더빠른컴퓨터에서돌린다고해서알고리듬이더나아지는것이아니다.그저틀린답에더빨리다다를뿐이다.(그리고데이터가더많을수록틀린답에다다를기회도더많아진다!)더빠른기계의주된효과는실험에걸리는시간을더짧게줄인다는것,따라서연구를더빨리진행할수있다는것이다.AI를지체시키는것은하드웨어가아니다.소프트웨어다.우리는기계를진정으로지적으로만드는방법을아직알지못한다.기계가우주만큼크다고해도마찬가지다._65쪽
알파고가이세돌을물리치고그뒤에다른모든최고의바둑국
- Choosing a selection results in a full page refresh.