도덕적인 AI : 딥페이크부터 로봇 의사까지, 인공지능 윤리를 위한 일곱 가지 물음

도덕적인 AI : 딥페이크부터 로봇 의사까지, 인공지능 윤리를 위한 일곱 가지 물음

$22.00
Description
기계가 인간의 도덕을 이해할 수 있을까?
컴퓨터가 프라이버시를 존중할 수 있을까?
인공지능을 안전하고 공정하게 만들려면 어떻게 해야 할까?

세계적인 철학자, 신경과학자, 컴퓨터과학자가
함께 쓴 독창적이고 균형 잡힌 ‘AI 윤리’ 입문서
독창적이고 균형 잡힌 ‘AI 윤리’ 입문서

“수 세기에 걸친 노력에도 불구하고 인간은 도덕적 실수를 막을 방법을 찾지 못했다. 어쩌면 이상화된 도덕적인 AI는 그 실수를 피할 수 있을지 모른다.” ≪도덕적인 AI≫는 ‘AI 윤리’ 분야에서 세계적으로 손꼽히는 철학자, 신경과학자, 컴퓨터과학자 셋이 함께 쓴 책이다. 인공지능에 대한 지나친 낙관론과 두려움 사이에서 균형을 잡아주는 책이자, 윤리적인 AI 개발과 사용을 고민하는 사람들을 위한 최신 안내서다. 딥페이크, 자율주행차, 자율무기, 의료 로봇 등 격변하고 있는 AI 기술의 최신 연구를 망라하면서 알고리듬의 편향, 프라이버시 침해, 사고의 책임 문제 등 인공지능을 둘러싼 새로운 윤리 문제를 흥미로운 사례와 함께 제시한다. 특히 인간의 ‘도덕성’을 탑재한 인공지능의 개발이라는 독창적인 아이디어를 제안하면서, 그동안 사람의 생명과 신체의 안전 및 기본권 보호에 중점을 두고 논의됐던 ‘AI 윤리’ 담론을 인간의 도덕적 실수를 예방하는 기술 도구의 개발과 활용으로까지 범위를 확장한다.
AI 기술의 사용에 대한 저자들의 입장은 명확하다. “목욕물을 버리다가 ‘AI 아기’까지 버려서는” 곤란하다는 것. 이미 혜택이 증명된 AI의 개발을 중단하는 것은 오히려 ‘부도덕’할 수 있다는 생각이다. 지금은 AI 기술을 쓸지 말지 논쟁할 때가 아니라, AI가 초래할 잠재적 편익과 위험을 면밀하게 파악하고, AI 기술과 맞물린 도덕적 가치의 문제들(안정성, 공정성, 프라이버시, 투명성, 자유, 기만)을 어떻게 해결해나갈지 지혜를 모을 때라고 주장한다.
총 7장으로 구성된 이 책은, 전반부에서 주로 인공지능의 개념과 작동 원리, 그 기술의 적용 사례와 윤리적 쟁점을 검토하고 있으며, 후반부에서는 주로 ‘도덕적인 AI’의 기술을 어떻게 구현할 수 있는지 소개하고, 한편 AI 제품을 윤리적으로 만들기 위한 구체적인 실천 방안을 제시한다. AI 기술의 새로운 트렌드와 윤리적 논쟁에 관심 있는 독자, ‘AI 윤리’를 제품 개발에 적용하기 위해 치열하게 고민 중인 IT업계 종사자, 그리고 우리 사회를 더 공정하고 민주적으로 이끌 수 있는 도구로서 AI를 어떻게 활용할 수 있을지 고민하는 시민들 모두에게 요긴한 안내서가 될 것이다.

저자

월터시넛암스트롱,재나셰익보그,빈센트코니처

저자:월터시넛암스트롱WalterSinnott-Armstrong
철학자,윤리학자.듀크대학교철학과실천윤리학교수.같은대학교에서로스쿨과심리학및신경과학과의겸임교수를맡고있으며,인지신경과학센터와뇌과학연구소등에서도일한다.‘사회적·문화적·신경과학적·생물학적요인이우리의도덕적태도·결정·판단을형성하는방식’을주제로학제간연구를실행하는‘도덕적태도와결정연구소MADLAB’를함께이끌고있다.도덕심리학및뇌과학이주요연구분야이며,윤리학의광범위한주제들에관해글을썼다.대표작으로《씽크어게인》(해냄,2020)《신이없는도덕?》《도덕심리학》《도덕적회의론》등이있다.

저자:재나셰익보그JanaSchaichBorg
신경과학자,데이터과학자.듀크대학교사회과학연구소조교수.‘도덕적태도와결정연구소’의공동소장이다.학제간연구를통해신경영상,뇌피질전도,비디오상호작용에대한컴퓨터분석과같은고차원다중모드데이터를분석하는새로운통계적접근법을개발하여,어떻게뇌가복잡한사회적정보를내부적신호와통합하여사회적행동에동기를부여하는지탐구한다.

저자:빈센트코니처VincentConitzer
컴퓨터과학자,게임이론가.미국카네기멜론대학교의컴퓨터과학교수이자‘협력적AI연구소FOCAL’소장.옥스퍼드대학교에서AI윤리연구소의AI기술책임자와컴퓨터과학및철학교수로도일한다.

역자:박초월
과학도서번역가.인하대학교물리학과를졸업하고서울대학교과학학과에서서양과학사를전공해석사학위를받았다.출판편집자로일하며책을만들다가글을옮기기시작했다.옮긴책으로《무한한가능성의우주들》《블랙홀에서살아남는법》《무엇이우주를삼키고있는가》《나와퓨마의나날들》등이있다.

목차


들어가며

서론|무엇이문제인가?
1장인공지능은무엇인가?
‘좁은AI’,‘범용AI’,‘강한AI’―도전과제를선택하라|퀴즈쇼를준비할때알아둘만한단어:GOFAI|기계가학습하도록가르치기|심층학습과신경망은어떨까?|어느AI가지능적인가?|오늘날AI가부족한점|AI가하지못하는일을알아내는것이갈수록어려워지고있다|오늘날AI는누가만들고있을까?

2장인공지능은안전할수있을까?
AI와함께사는삶은과연과학소설에나올법한끔찍한공상일까?|오늘날AI를둘러싼안전문제|몇가지사례연구|예측가능한예측불가능성

3장인공지능은프라이버시를존중할수있을까?
프라이버시는무엇인가?|프라이버시에신경을써야하는이유는무엇인가?|AI는어떻게프라이버시를침해하는가?|AI생태계는개인데이터의비축과판매를조장한다|AI위협으로부터프라이버시를보호하려면어떻게해야할까?|우리는프라이버시를소중히여기는가?

4장인공지능은공정할수있을까?…157
정의란무엇인가?|누가재판전에감옥에가는가?|인간판사대AI:누가더정확한가?|공정성을명시하기|인간판사대AI:누구의편향이더심한가?|절차적정의는어떨까?|해석가능성이문제를해결해줄까?|공정한AI

5장인공지능에(혹은AI제작자와사용자에게)책임을물을수있을까?
책임이란무엇인가?|인간운전자에게책임이있을까?|보행자에게책임이있을까?|AI관여자들에게책임이있을까?|우버에책임이있을까?|애리조나주정부에책임이있을까?|인공지능에책임이있을까?|책임공백

6장인공지능에인간의도덕성을탑재할수있을까?
하향식도덕성은어떨까?|상향식도덕성은어떨까?|두방법의장점을취합하기|누가신장을받을것인가?|신장분배AI에도덕성을탑재하는방법|인공적으로개선된민주주의

7장우리는무엇을할수있을까?
AI제작과정의복잡미묘한상황|도덕적인AI에서원칙과실천사이의간극이발생하는이유는?|도덕적인AI의원칙과실천사이의간극을좁히려면무엇을해야할까?|첫번째행동촉구제언|두번째행동촉구제언|세번째행동촉구제언|네번째행동촉구제언|다섯번째행동촉구제언|큰그림

결론|우리에게달려있다


찾아보기

출판사 서평

왜‘도덕적인AI’인가?

‘도덕적인AI(MoralAI)’라니,제목이궁금증을자아낸다.과학소설팬이라면혹시도덕성과자율성,자유의지를지닌새로운인공지능의출현을예언하는책일까기대할지도모르겠다.하지만이책에서제안하는‘도덕적인AI’는그런먼미래의인공지능이아니다.넓게말하면,“인간의가치를학습하고구현하는AI”,좁게말하면‘인간의도덕적판단을보조하는시스템’이다.그가능성을보여주는대표적인연구사례가‘신장이식을받을환자의우선순위를정하는AI’이다.

병원에서이식의우선순위는대체로1)이식외과의의의학적판단,2)신장이식방침을결정하는병원담당자들의의료적·실용적판단(적합성,연령,건강,장기의질,대기기간등)으로결정된다(여기서도덕적판단은제외).‘도덕적인AI’는두가지방향에서학습이이루어지는데,먼저이식외과의가신체적,정신적으로이상적인상태일때내릴법한의학적판단을프로그래밍하고,다음으로병원의이식방침을결정하는집단의판단을모형화한다.특히후자의경우에는병원관계자뿐아니라변호사,환자,비전문가등다양한시민들을참여시킴으로써공동의도덕적판단을자동화시스템으로구축할수있다.이기술도구를이용하면,외과의의실수와편향을방지하고,신장분배우선순위목록을해당집단의도덕적가치와일치시킬수있다.이책은이기술을시스템에구현하기위해,어떻게도덕적특징을뽑아내고,가중치를측정하고,도덕적판단을모형화하고,집단의판단을종합하고,도덕적판단을이상화할수있는지현재연구되는아이디어들을제시하고있다(239~253면참조).

인간의도덕성을탑재한AI

‘도덕성을지닌인공지능의출현’을기대했던독자들한테는여전히시시해보일지모르지만,이기술의잠재력은어마어마하다.핵심은두가지다.첫째,사람들의도덕적판단을도울수있다.불완전한인간은언제든도덕적오류를범할수있다.“인지적편향,편애,인종또는성별편견등무의식적으로의사결정에영향을미치는편향”에서벗어날수없기때문이다.그런편향을제거한‘이상화된도덕적인AI’는우리가불완전한상태일때에도(가령,잠이덜깼거나화가난상태에도)“합리적이고편향없는상태에서더많은정보를갖고내릴만한도덕적판단”을내리는데도움을줄수있다.둘째,사회의불공정을개선하고,비윤리적인결정을방지하는데도움을줄수있다.AI에도덕성을탑재하는이기술을다른영역으로확장하면,공동체구성원의도덕적판단을자동화하는‘인공적으로개선된민주주의(AID)’시스템을개발할수있다(254~256면참조).특히의사결정지원도구에AID를탑재한다면비단의료분야뿐아니라광범위한영역에서활용할수있다.예를들어,채용담당자가지원자를대상으로면접을보거나채용결정을내릴때,군사무기운용자가언제어떤표적을향해미사일을발사할지고려할때,그밖에공정성과도덕성시비가생길수있는분야에서인간행위자가올바른선택을하도록도움을받을수있다.
한편저자들은‘도덕적인AI’기술을다양한영역으로보급하는동시에,인공지능개발사가AI제품의개발초기부터윤리적개입을강화할수있는다양한실천방안(‘도덕적인AI’전략)을제시하고있다.핵심이되는부문은“기술보급,조직관행,교육,시민참여,공공정책”이며,개발사는이를통해조직문화를개선하고,윤리담당자의역할을강화하며,윤리지표를마련하고,AI제품에공동체의가치를반영하는등‘도덕적인AI’전략을구체적인지침으로활용할수있다.

AI기술과새로운윤리적쟁점

아울러저자들은현재우리가고민해야할인공지능기술의새로운윤리적쟁점들을폭넓게제시하고있다.이책에서주목하는사례중핵심적인몇가지만소개한다.
첫째,책임의문제(또는‘책임의공백’문제).AI로인한안전사고의책임은누가져야할까?2018년우버소유의자율주행차볼보XC90가실험운행도중에보행자(허츠버그)를쳤다.차량의센서와AI인식시스템이보행자를인식하지못했고,운전석의테스트드라이버도한눈을팔고있었다.허츠버그의죽음에책임이있는대상은누구일까?테스트드라이버?자동차제조사?AI를만든우버의엔지니어?아니면AI가어떤결과를초래할지예상한사람이없었기때문에누구에게도책임을물을수없을까?

‘책임의공백’문제는AI가활용되는다양한분야에서일어날수있다.연루되는대상이많아서법적·도덕적책임의경중이불분명하기때문이다.예를들어,병원에서AI가진단실수를저질러환자가불필요한치료를받거나치료가늦으면,그책임은누구에게있을까?군대가AI를사용하여드론공격을유도했는데시민이희생됐다면,그책임은누구에게있을까?더골치아픈예를들자면,신생회사가오픈AI의GPT모형을기반으로의료상담챗봇을만들었는데챗봇이유해한조언을제공해서사람이죽었다면,그책임은누가져야할까?신생회사일까,GPT모형기술을제공한오픈AI일까?저자들은우리사회가앞으로이러한책임의문제를해결하지못한다면,사회적혼란이불가피하다고우려한다.

둘째,프라이버시침해문제.개인정보가유출되기쉽고,범죄에악용될수있다.예를들어‘얼굴인식AI’와위치추적기술이결합하면단순히길거리에서목격하는것만으로누군가의민감한의료정보를알아낼수있고,AI딥페이크기술을이용한‘피싱공격’에속수무책으로당하기쉽다(챗봇,동영상,녹음,사진이진짜은행이나국세청직원행세를한다고생각해보라).

하지만이책에서저자들이진짜주목하는프라이버시위협은따로있다.“최대한많은개인데이터를수집하고,영구적으로저장하고,최고입찰자에게판매하는것을바탕으로돌아가는”AI생태계그자체다.오늘날많은AI기업이개인데이터를모으기위해공을들이는데,“훈련용데이터가다양하고방대할수록AI의정확도가높아지고예측할수있는내용도많아지기”때문이다.수집방법도교묘하다.미국의온라인결제회사페이팔의경우,“사용자가페이팔과어떤웹사이트의통합을동의하면쇼핑내역,개인별취향,사진,장애상태가그웹사이트와공유된다(개인정보처리방침의“당사는귀하의개인데이터를판매하지않습니다”라는문구에안심했다가는큰일난다.이문구는“다른기업과데이터를공유하지않는다”는뜻이아니기때문이다).그렇게수집된개인데이터는다양한AI모형(얼굴인식이나텍스트완성또는챗봇시스템등)을훈련하는데쓰이고,심지어그렇게학습된AI모형도다른기업들에대여해주거나팔수있다.한편훈련용데이터의정보일부를‘기억’하는AI모형의특성때문에(‘망각불능’현상),누군가의개인정보가튀어나오는일도불가능하지않다.“마이크로소프트와아마존은직원들에게챗GPT에민감한정보를공유하지말라고경고하기도했다.언젠가출력되는내용에해당정보가포함될지도모르기때문이다.”

셋째,데이터의편향문제.AI윤리분야에서데이터편향은오랫동안지적되어온문제다.“어떤데이터를수집할지결정하고,AI알고리듬에어떤정보를넣을지선택하고,AI의예측에어떻게반응할지결정할때마다인간의편향이AI에반영될여지가생기기”때문이다.편향된데이터를학습한AI모형은당연히편향된결과를내놓는데(“편향이입력되면편향이출력된다”),한연구결과에따르면“채용과해고,승진,주택융자,사업자금대출에흔히사용되는AI는특히흑인,여성,이민자,빈곤층,장애인등지원자에게불리하게작용하는경우가많았고,피부암탐지AI는어두운피부(유색인종)를대상으로는잘작동하지않았다.”

넷째,알고리듬처리과정의투명성문제.특히심층학습AI에서꽤골치아픈문제로알려져있다.심층학습AI는다른AI기술보다예측능력이뛰어나다고알려져있는데,문제는알고리듬의처리과정이블랙박스처럼깜깜이여서그것을해석하거나이해할수없다는것이다.‘루미스대위스콘신판결’논란이대표적이다.총격사건에가담한혐의로기소된에릭루미스는‘컴퍼스’(미국의양형법원에사용되는위험성평가도구)의예측을통해“공동체에위협이되는인물”로간주되어중형을선고받았다.루미스는컴퍼스의“예측모형이독점적이고복잡해서위험성예측에도달한경로또는이유를알거나,대응할수있는현실적인방법이없다”며항고했지만,결국패소했다.하지만저자들의지적처럼“예측을생성하는AI를인공지능전문가말고는아무도이해할수없다면또는심지어전문가조차이해하는것이불가능하다면…법정절차는결국공정성을상실할것이다”.저자들은AI의불투명성문제가앞으로그기술을활용하는많은분야에서언제든공정성시비를불러올것이라고우려한다.

‘기술의힘’과지혜사이의경쟁

2024년노벨물리학상수상자제프리힌턴은“AI로인해30년내인류가멸종할수도있다”라고경고했지만,AI의경제적가치가확인되면서사뭇다른분위기도읽힌다.전세계가AI신제품개발에사활을걸고뛰어드는지금윤리문제가대수냐고한가한소리말라고여길사람들도있겠다.일단신제품을내고,문제가불거지면그때그때수습하면서처리하면될일이라고(‘린-애자일’방법),그것이지금껏IT기업들의관행이었고성공적으로작동해왔다고생각할기업들도있겠다.

이책이경고하는바가그것이다.“기업들이AI가유발하는피해에책임감을느끼지않는다면,그들은안전성이의심스럽지만수익성이높은AI제품을만들어야한다는압박을점점강하게받을것이다.”AI의파괴력을고려하면그피해의크기는한기업의차원을넘어설것이다.오늘날많은정부와기관들이서둘러AI의안전성과잠재적위험을예측하고,‘AI윤리’원칙을마련하고,장기적으로기계로부터인간의통제권을잃지않기위한연구와제도적노력을벌이고있는이유이다(우리나라의경우2024년말AI안전연구소설립,AI기본법본회의통과).

어쩌면우리가AI에장착하기위해노력해야하는것은더강력한첨단기술이아니라,인류의미래를지켜줄인간의‘도덕성’일지모른다.스티븐호킹은“우리의미래는점점커져가는기술의힘과그것을사용하는지혜사이의경쟁이될것”이라고말한다.인간의가치를학습하고구현하는‘도덕적인AI’개발이그지혜의열쇠가될수있다.저자들의말마따나아직은“도덕적인AI의이야기에서감독과주연은둘다인간이다.”그러나우리가인공지능에담으려는가치를숙고하지못한채이이야기가전반부가끝난다면,압도적인AI가써나갈이야기의후반부에서인간의자리는매우위태로울지모른다.