이책의핵심은철학과과학간의대화이다
새로운기술의과학이마음,자아,인간에대한우리의철학적이해에문제를제기하고이해의폭을넓혀줄수있다.그에반해철학은의식이있는로봇이존재할수있는지,마이크로칩으로뇌의대부분을다시이식해도여전히나라고확신할수있는지등새로운기술이이룰수있는것에대한우리의판단력을날카롭게해준다.
의식있는인공지능은실제로만들어지지않을수도있고,다른비생물학적기질에서의식을만들어낸다는것은물리학법칙과호환되지않을지도모른다.그러나우리가개발하는인공지능이의식을갖는지여부를신중하게판단함으로써이문제에접근할수있다.그리고표면적으로인간과유사한인공지능을의식있는것으로바라보는경향과기술공포증을넘어이모든것을공개적으로토론함으로써,우리는의식있는인공지능을만들어야하는지여부와그방법을더잘판단할수있을것이다.이러한선택은사회가신중하게내려야하며,모든이해관계자가참여해야한다.
인류번영에대한인공지능의위협?
인공지능이함의하는바는철학적으로사고하지못하면의식을가진존재가번성에실패할수있다는것이다
이책의핵심은철학과과학간의대화이다.인공지능이함의하는바는철학적으로사고하지못하면의식을가진존재가번성하는데실패할수있다는사실이다.인공지능기술은삶을더편하게만드는것이아니라인류를고통,죽음,다른의식적존재에게착취당하는상황으로몰아갈수도있다.
이미많은사람들이인류번영에대한인공지능기반의위협에대해논의했다.해커가핵무기공격시스템을마비시키는일부터영화<터미네이터>에서나나올법한초지능적자율무기까지다양한위협이존재한다.이와는대조적으로저자가제기하는문제―①의식있는기계의생성과정에서인간이간과하는시나리오,②급진적인뇌강화와관련된시나리오―는세간의주목은덜받고있지만굉장히중요하다.
고도의범용인공지능(AGI:artificialgeneralintelligence)을개발한다고가정해보자.이인공지능은한종류의지적작업에서다음작업으로유연하게전환할수있고,추론능력에있어서도인간과경쟁할수있다.이런기계는하나의자아이자동시에경험의주체로서,즉본질적으로의식을갖고있다고봐도무방할것이다.
인공지능의가치를평가하는핵심근거는무엇일까?
21세기에접어들면서인간이지구상에서가장지적인존재가아닐수도있다는가능성을인정해야한다
기계의식을만드는방법이나가능성에관해서는아직알려진바가없다.그러나인공지능이경험을가질수있는지여부는우리가인공지능의가치를평가할때핵심근거가될것이라는사실만큼분명하다.의식은인간도덕체계의철학적초석이며,누군가또는무언가가단순한로봇이아닌인간내지자아인지여부를판단하는데중심이되기때문이다.
만약내가구글이나페이스북의인공지능책임자라면향후프로젝트를구상할때의도치않게의식있는시스템을설계하는윤리적혼란을겪고싶지않을것이다.의식이있는시스템을개발하면인공지능의노예화라는비난으로이어질수있으며심지어는특정분야에서인공지능기술사용이금지될수도있다.
장기적으로는전세가인간에게불리하게돌아갈수있다.문제는우리가인공지능을해치는것이아니라인공지능이우리를해치는것일수있다.실제로일부에서는합성지능이지구상에서지능진화의다음단계가될것으로예상하고있다.지금우리가세상을살아가고경험하는방식은인공지능으로가는중간단계,즉진화사다리의한단계에불과하다는입장이다.예를들어스티븐호킹,닉보스트롬,일론머스크,맥스테그마크,빌게이츠등많은이들은인공지능이인간을능가할경우인간이자신이만든인공지능을어떻게제어할수있을지에대한문제를제기했다.
우리가인간수준의지능을가진인공지능을만든다고가정해보자.그인공지능은자기개선알고리즘과빠른계산을통해인간보다훨씬더똑똑해질수있는방법을빠르게발견할수있을것이다.이런초지능을우리가통제하지못하는건당연하고,이론적으로는인간을멸종시킬수도있다.합성지능이생명체의지능을대체할수도있는것이다.또는인간이상당한뇌강화를누적하여인공지능과통합되는대안도있다.
하지만우리가놓치고있는것은인공지능이‘인간’을평가하는방식에서도의식이핵심이될수있다는가능성이다.초지능적인인공지능은자신의주관적인경험을발판삼아인간의의식적인경험의능력을알아볼지도모른다.우리가인간이아닌동물의생명을소중히여기는것은의식을가진존재에친밀감을느끼기때문이며,따라서우리대부분은침팬지를죽일때는움찔하지만오렌지를먹을때는움찔하지않는다.만약초지능적인기계가어떤이유로든의식을갖지못한다면,인간은곤경에처할수있다.
이러한문제를우주전체라는더큰맥락에서바라보는것이중요하다.다른행성에서생명체를찾을때수준높은외계지능은생물학적문명에서진화한인공지능,즉‘포스트생물학적’지능일수있다.이러한인공지능이생물학적지능을대체할때의식을갖지못하게된다면,우주에는의식을가진존재들이사라질것이다.인공지능의식이중요하다면,우리는인공지능의식을만들수있는지,그리고우리가인공지능의식을만들었는지알아야한다.
