김명주
서울대학교컴퓨터공학과를졸업한후같은대학원에서석사와박사학위를받았다.서울대학교컴퓨터신기술공동연구소특별연구원을거쳐,서울여자대학교에교수로부임하여올해로27년째를맞는다.
1995년부터서울지방검찰청특수부에서컴퓨터범죄사건에대한수사자문을맡기시작했다.법무연수원에서검사와수사관을대상으로컴퓨터범죄수사기법을상당기간교육했다.교육을마칠즈음사이버수사전담부서가검찰과경찰안에신설되었다.
이과정에서정보보호와디지털윤리가갈수록중요함을느껴바로실천에옮겼다.2001년수도권최초로서울여자대학교에정보보호학과를신설하고,2014년국내최초로교육부지정정보보호영재교육원도설립하였다.여러전문가들과함께인터넷윤리실천운동을전개하면서㈔한국인터넷윤리학회회장도맡았다.인문학및사회과학전문가들과더불어2년넘게연구하여2018년국내최초로<인공지능윤리가이드라인SeoulPACT>를만들어국가에헌정했다.이공로로정보문화의달에근정포장훈장을받았다.
2019년바른AI연구센터를설립한후윤리적상상력을기반으로바람직한미래사회를그려가고있다.최근에는인공지능윤리정책포럼위원,디지털포용포럼위원활동을통해사회적공론화작업에도힘쓰고있다.
프롤로그
1장‘죽음’을흔드는AI
디지털부활의시작
다시살아나다|사후디지털고용과명예훼손|사자의퍼블리시티권과경제적이득
새로운애도프로그램의출현
다시만나다|디지털페르소나|디지털부활을구현할특허
디지털흔적과디지털유산
고인이남긴디지털기록들|프로파일링과잊힐권리|사망자계정과사후프라이버시|고인의죽음을흔드는손
살아있는자의디지털영생
디지털쌍둥이|모호해진산자와죽은자의경계
살아있는자의생물학적영생
노화와죽음을치료하려는시도|새로운기술,새로운생각|포스트휴머니즘과인공지능|인간과인공지능의공존관계
2장‘존재’를흔드는AI
존재하지않는존재,가상인간
버추얼휴먼과아바타|인플루언서에대한국내외인식|가상인플루언서의등장
가상인플루언서
휴먼인플루언서를능가하는가상인플루언서|가상인플루언서의장점과문제점|가상인플루언서의신뢰성문제해결방식
가상아나운서
한·중·일의가상아나운서|가상아나운서의영향력과전망
가상가수
한국과일본의가상가수1세대|보컬로이드가상가수|인공지능기술과가상가수
아바타와메타버스
아바타의등장|메타버스의급습|메타버스윤리:디지털윤리vs아날로그윤리
3장‘신뢰’를흔드는AI
인공지능과혁신
이루다와알파고|의료계를뒤흔든인공지능|금융계의판도를바꾼로보어드바이저|리걸테크의꽃인공지능변호사|예술영역에도발을디딘인공지능
인공지능과4차산업혁명
4차산업과4차산업혁명|4차산업혁명의핵심신기술|불안과걱정을몰고온인공지능
인류의마지막기술일까?
초지능슈퍼인텔리전스|인류에대한초지능의위협|인공지능이라는‘존재적위험’
책임지지않는인공지능
자율주행차사고와책임소재|탈인간중심의법체계는가능할까?
사람을차별하는인공지능
흑인을차별하는인공지능|여성을차별하는인공지능|공립학교를차별하는인공지능|챗봇이보여준차별과편견
착각하게만드는인공지능
인공지능의의인화|불쾌한골짜기|딥페이크와딥누드|의료영상의완벽한위조
안전하지못한인공지능
적대적공격과오픈소스|취약한인공지능컨테이너|신뢰할수있는인공지능을향해
4장흔들림너머AI바로보기
흔들리는인간을위한윤리
인공지능에게윤리가필요한이유|ESG경영과인공지능윤리|개발자중심에서이용자중심으로|‘윤리’의바다를항해하는‘법’이라는배
인터넷윤리를품은인공지능윤리
인터넷윤리의등장|인공지능윤리의등장|개인정보와프라이버시정보유출|일라이자효과vs중독현상|새로운윤리의기본원칙
인공지능윤리원칙의도출
5Whys에의한특성분석|차별적특성과보편적특성|인공지능윤리의기본원칙
공공성과책무성이해하기
공공성관련원칙들|책무성관련원칙들
통제성과투명성이해하기
통제성관련원칙들|투명성관련원칙들
인공지능바로보고마주하기
국가인공지능윤리기준|교육분야에서인공지능윤리|대학에서인공지능윤리|공공분야에서인공지능윤리|인공지능생태계와정부의역할|전국민을위한인공지능윤리
에필로그
주석
찾아보기
참고문헌
인공지능에게배신당하지않고함께살아가려면어떻게해야할까?
인공지능윤리의권위자김명주교수가전하는미래AI시대의기회와위기!
★AI윤리의교과서이자필독서.미래AI시대를준비하는우리사회가함께읽어야할책!
★네이버,카카오,KT등국내최고IT기업의인공지능연구책임자들의강력추천!
“인공지능이인류의마지막기술일수있다!”세계적인석학스티븐호킹박사는아주짧지만명확한경고의메시지를반복하여전했다.MS의빌게이츠,애플의스티브위즈니악,테슬라의일론머스크등세계적인빅테크기업수장들도인공지능의위험성에대해경고의목소리를똑같이내고있다.닉보스트롬,스튜어드러셀,프랭크윌첵,맥스태그마크등노벨상수상자나세계유수의대학교수들도“인공지능이인류사상최대의성과인동시에최후의성과이자인류의재앙이될수있다!”고주장했다.
정보화사회에서미래의지능정보사회로의대전환을이끄는4차산업혁명의혁신신기술가운데최고의핵심기술은바로인공지능이다.70년이라는짧지않은역사에도불구하고인공지능의존재감과위력을전세계인들이대중적으로인식하기시작한지는겨우10년남짓됐지만,한편으로는인공지능의어두운그늘에대한심각한경고가집중적으로표출되고있었다.
그때우리는2016년구글의인공지능알파고가바둑천재이세돌9단을4승1패로이긴사건으로인공지능이우리의생각보다얼마나더똑똑할수있는지를목격하며큰충격을받았고곧바로인공지능의엄청난잠재력과발전가능성에대한기대감으로투자계획이정부는물론기업과대학등사회전반에걸쳐이뤄졌다.이후5년이지나서야2021년인공지능챗봇‘이루다’사건으로우리가인공지능을자칫잘못다룰경우얼마나불안하고불편하며심지어위험하기까지한상황이연출될수있는지깨닫게됐다.
검찰과경찰을대상으로컴퓨터범죄수사기법을교육해오며정보보호와디지털윤리가갈수록중요함을느낀김명주교수는인터넷윤리실천운동을전개하면서인문학및사회과학전문가들과더불어2년넘게연구하여2018년국내최초로인공지능윤리가이드라인를만들었다.인공지능에의한부작용과역기능,위험성을모두법으로포괄해내기에는시간적으로따라잡기힘들만큼인공지능의발전속도는빠르다.아울러인공지능이미치는사회영역역시전문가들도가늠할수없을정도로광활해모두를한곳에집약해소수가관리하는것자체가불가능하다.따라서‘처음시작단계부터’발전방향을올바르게잡아야하고사회적담론을최대한형성해야하는데,그핵심이‘인공지능윤리’이기때문이다.
네이버,카카오,KT등국내최고IT기업의인공지능연구책임자들이AI관계자들의교과서,AI연구개발자들의필독서라며강력하게추천하는이유가이책《AI는양심이없다》가담고있는‘인공지능으로인해사회적대전환이시작되면부작용과역기능,심지어심각한위험성이드러난다고해도다시원래로되돌리는것은불가능하다’는문제의식때문이다.그렇기때문에이책은AI관계자나전문가뿐만아니라우리사회가함께읽어야하며,‘미래AI시대에대한방어적준비’에관해이야기를나누어야한다.
저자는인공지능이열어줄미래에대한올바른방향제시와더불어구체적인준비도따라야함을강조한다.비가역적인사회대전환이따라오기때문에발생가능한문제와상황에대해소수의전문가중심에서벗어나사회구성원모두가이해하며공감할수있어야한다는논지다.저자는미래에인공지능에게배신당하지않고함께살아가려면어떻게해야할지,지혜를찾고자했다.이지혜를‘윤리’라는단어안에함축했다.윤리는가치판단의기준으로사람에게요구된다.그리고이윤리는사람만이가지고있는‘양심’으로인하여발현한다.반면에인공지능은‘양심’이없다.인공지능으로인하여등장하는윤리적인문제의근원은바로이것이다.책제목도이렇게정해졌다.
‘인공지능은이미우리의삶을흔들고있고,앞으로도흔들어댈것이다’
미래AI시대의사회변화에대한이해력과통찰력을제공하는책!
흔히기술을가치중립적이라고한다.이용하는사람과상황에따라기술은유익할수도있지만해로울수도있기때문이다.새로운기술이등장할때마다우리는기술자체에흥분하고기대감을높이며몰입하지만,뒤따라찾아온부작용과역기능은우리를배신하며참많이힘들게한다.‘왜시작단계에서부터우리는기술의숨겨진그늘을예상하지못했을까?’‘단지편리함과이익에눈이멀어어슴푸레드러난기술의역습기미를우리는왜가볍게여겼을까?’이책《AI는양심이없다》는이같은질문을던지면서어김없이우리를여기저기에서흔들어대기시작한‘인공지능’에대해이야기한다.더욱이4차산업혁명이라할만큼비가역적인사회대전환을이루는혁신신기술‘인공지능’에서이질문들이얼마나중요한지강조하고있다.
저자는우리를상대로인공지능이이미흔들어대거나조만간흔들이슈를사례별로정리하는데많은부분을할당했다.책의1장“‘죽음’을흔드는AI”에서는고인이남긴디지털흔적과디지털유산을통해디지털부활이시작되었고이로인해사후디지털고용과명예훼손,사자의퍼블리시티권과경제적이득,프로파일링과잊힐권리,사망자계정과사후프라이버시등고인의죽음을흔드는손으로서의AI문제를다룬다.2장“‘존재’를흔드는AI”에서는가상인플루언서,가상아나운서,가상가수,아바타와메타버스등존재하지않는존재인가상인간의출현과이로인해발생하는신뢰성문제와디지털윤리에대해논한다.3장“‘신뢰’를흔드는AI”에서는이루다와알파고부터시작하여왓슨,콤파스,버추얼휴먼,휴머노이드,자율주행차등4차산업혁명의핵심신기술인인공지능이가져온혁신의이면에드러난차별과편견,의인화와위조,적대적공격과불신등윤리적문제에대한불안과걱정을다룬다.마지막4장“흔들림너머AI바로보기”에서는인공지능에게왜윤리가필요한지,처음시작단계에서는법보다올바른윤리가먼저형성되어야하는지당위성을설명하며구체적이고현실적인대안으로써‘인공지능윤리’의원칙과각분야에서적용해야할윤리기준들이무엇인지이해를돕는다.
이러한과정을통해인공지능으로인해발생하는윤리적인문제의근원이무엇인지,우리안에자리잡아온인공지능이용에대한막연한불안과우려에대해구체적인실체가무엇인지,우리가흔들림없이인공지능을이용하려면어떻게해야할지파악하게해준다.저자는‘죽음,존재,신뢰’는말할것도없고인간이지금까지조심스럽게대했던근간을인공지능이하나씩하나씩흔들어댈시간이점점다가온다며,예상되는흔들림을정확하게바로보면서이흔들림을넘어설구체적인준비를해야한다고강조한다.인공지능이아직은본격화되지않은기술이기에우리에게준비할시간이조금남아있다면서,지금우리에게는무엇보다윤리적상상력과함께머리를맞댈공론의장이필요하다고말한다.
신뢰할수있는인공지능을확보하라!미래AI시대를준비하는최적의솔루션‘인공지능윤리’
3차산업혁명과정보화사회에서발생해성장한‘인터넷윤리’는,4차산업혁명과지능정보사회에서는‘인공지능윤리’로연장선에있지만보다확대되고심화된내용을포함한다.예를들어,인공지능의의인화현상은인터넷윤리에서이미중요하게다루고있는남용과중독문제,개인정보와프라이버시정보유출문제를더심화시키며확대하고있기때문이다.
‘정보격차’또는‘디지털격차’에대한해소는주로국제적으로나국가적차원에서다뤄온인터넷윤리의핵심주제였다.정보기술의접근성및활용수준에따라개인별로새로운생산수단확보와직업종사기회가갈리게되므로빈익빈부익부현상이갈수록심화되기때문이다.그런데이제는인공지능신기술에의해기존의정보격차보다더심화된새로운격차발생이예고되자아예‘인공지능격차’라고부르며문제의심각성을강조하며구체적인대안을요구하고있다.이에대해후발적조치의성격이강한법보다‘인공지능윤리’를통해선제적으로대응하는것이시급하게필요한이유다.
그렇다면인공지능윤리의기본원칙에는무엇이있어야할까?저자가여러전문가들과더불어연구하여2018년국내최초로만든인공지능윤리가이드라인의경우를들여다보자.인공지능의특성을기반으로도출된네가지기본원칙인공공성(publicness),책무성(accountability),통제성(controllability),투명성(transparency),즉영단어첫글자를딴‘PACT’다.이는이듬해인2019년에OECD가발표한<인공지능윤리원칙>과거의일치한다.2020년말에발표된우리나라의<국가인공지능윤리기준>도유사한원칙을제시하고있다.이러한윤리기준과원칙을출발점으로하여구체적인실무지침그리고나중에는인공지능법까지도만들어진다.
전국민누구나인공지능제품또는인공지능서비스의이용자가될수있다.인공지능이이끌4차산업혁명시대와지능정보사회의시각에서볼때,모든구성원이인공지능이용에있어서갖춰야할시각과자세를미리알아두는것은꼭필요하다.저자는인공지능윤리가이드라인을소개하며,독자들에게“인공지능시대,나는어떻게생각하고준비하며행동해야할까?”라는질문에대한밑그림도각자그려보기를제안한다.
추천사
최근인공지능기술의놀라운발전은기계·전기·컴퓨터등과마찬가지로인류에게기존기술로불가능했던혁신적인가치와기회를제공하기도하지만,뜻하지않은위험과위기를가져올수도있다.이책에서는인공지능을기회와위기양쪽의의미로기존사회를흔드는손으로서체계적으로설명한다.연구자로서양날의검인인공지능에대해다시한번고민하게하고,어떤방향으로인공지능기술을연구개발해야하는지반성하게하는중요한책이다.인공지능학계와산업계그리고정책입안자나관계자들이교과서처럼일독할것을권장한다.
_하정우네이버AILab인공지능연구소장
김명주교수는인공지능윤리의대표적인권위자다.특히기술을기반으로인공지능윤리를바라보는몇안되는전문가다.기술에대한이해없이선언적인시각에서바라보는인공지능윤리는절반의이야기만을담고있다.그자체가편향성을띄고있기도하다.기술에대한충분한이해가토대가된이책은교조적이지않다.사례중심에서우리사회가함께고민해야할주제를차분히정리하고있다.
_김대원카카오CDRLab정책팀장(상무)
우리는이미AI시대를살고있다.얼굴인식이나글자인식은보편적으로쓰이며,AI와음성으로대화하는것도일상이다.그럼에도AI에대한불안과두려움이만연해있다.사용자와개발자간AI의능력에대한인식차이도제법크다.이책은이런‘인공지능격차’를해소해줄인문·사회과학서다.인공지능기술과윤리에대한이해도를높이고싶은독자나,인류와공존할수있고신뢰할수있는인공지능을만드는것에관심이있는AI연구개발자들에게필독서로추천한다.
_배순민KTAI2XL인공지능연구소장