무책임한 AI (사소한 오류부터 치명적 위협까지)

무책임한 AI (사소한 오류부터 치명적 위협까지)

$22.00
Description
인간을 대신하여 결정할 권한을 넘겨 받은 AI
무책임한 AI ‘때문에’
무고한 시민이 체포되거나, 유죄 판결을 받거나,
심지어 목숨까지 잃고 있다
정말 AI 때문일까?
눈도 코도 입도, 심지어 마음도 없는 AI. 하지만 인간은 왜 이토록 AI를 신뢰하고, AI의 결정이라면 아무런 반박도 하지 않고 따르려고만 하는가? AI를 창조해낸 것이 바로 인간이라는 점을 고려해봤을 때 이런 AI 맹종 현상은 설명이 불가할 정도로 신기한 부분이 있다.
AI 맹종이라는 말에 동의하기 어려운가? 그렇다면 현재 AI가 처리하고 있는 일의 범주를 살펴보자. 거의 ‘전능하다’라고 할 정도다! 취업 서류심사, 채용 면접, 은행 대출 심사, 법원 판결 보조, 범죄 리스트 등재, 테러리스트 색출, 자율주행차 운행... 인간들이 하고 있는 일을 몽땅 AI에게 던져버렸나 싶을 정도로 일의 종류도 다양하지만, 심지어 인간의 목숨을 좌지우지하는 일까지 AI가 맡고 있다는 점은 놀라울 정도다.
AI 때문에 사라지거나 사라질 인간의 직업 리스트는 지금도 계속 업데이트 중이며, 사람과 AI와의 ‘경쟁’에서 사람이 패배하는 것은 불을 보듯 뻔하다는 서사가 계속해서 확산하고 있다. 이것은 마치 ‘인간이 AI보다 더 열등하고 더 부정확하며 오류가 잦다’라는 전제가 참이라는 것처럼 들린다. 하지만 과연 그럴까?
이 책은 현재 지구촌에 무차별적으로 확산되는 AI 맹신 현상을 구체적인 사례들을 통해 ‘역시 AI는 기계에 불과하며 인간의 철저한 관리 감독을 통해서만 제 기능을 발휘할 수 있다’라며 바로잡아 주는 역할을 한다. 뿐만 아니라, 우리가 ‘내 탓이 아니에요, AI가 그랬어요’라고 요리조리 책임을 회피하며 방패막이로 이용하던 AI에서 방패의 지위를 빼앗고, ‘모든 무거운 책임은 인간에게 있다’라는 아프지만 진실인 명제를 마주하게 한다.
저자인 카트리나 츠바이크는 오류를 저지르는 AI와 그것을 맹신하는 인간의 마음속 현상을 직접 다루지는 않는다. 하지만 구체적이고 능수능란한 단계적인 사례 제시를 통하여, 인간의 심연에서 어떤 일이 벌어지고 있을지를 마치 추리소설을 읽으면서 범인을 예상할 때처럼 독자가 스스로 유추해 나가도록 이끈다.
저자

카타리나츠바이크

저자:카타리나츠바이크KatharinaZweig
독일RPTU카이저슬라우테른-란다우대학교컴퓨터과학교수이자사회정보과학연구소장을맡고있다.컴퓨터과학,생명정보학,철학을두루공부한그는알고리즘과사회적맥락의상호작용을연구하며,독일의회·EU집행위의기술자문을맡아왔다.저명한과학커뮤니케이터이자,학문과사회를연결하는정보과학자다.독일연구재단(DFG)커뮤니케이터상을비롯한여러상을수상했고,라인란트팔츠주인공지능홍보대사이자AI자문스타트업“TrustedAIGmbH”의공동설립자이다.이외여러연방부처에서전문가로활동하고있으며,2018년부터2020년까지독일연방하원의‘인공지능’조사위원회위원으로참여했다.여러매체에서강연을하는등대중을상대로도활발한활동을펼치고있다.2019년출간한《무자비한알고리즘》은장기간슈피겔지베스트셀러목록에올랐다.

역자:유영미
연세대학교독문과와동대학원을졸업한뒤전문번역가로활동하고있다.《부분과전체》《왜세계의절반은굶주리는가?》《무자비한알고리즘》《제정신이라는착각》《가문비나무의노래》《바이올린과순례자》《인간은유전자를어떻게조종할수있을까?》《우리에겐과학이필요하다》등다수의베스트셀러를우리말로옮겼다.2001년《스파게티에서발견한수학의세계》로과학기술부인증우수과학도서번역상을수상했다.

목차

1장인공지능이판단하는세상

1부기계는어떻게결정을내리는가
2장알고리즘의성차별
3장정보과학의작은ABC
4장기계는신용도를평가하는법을어떻게배울까?
알고리즘,휴리스틱,그리고모델
5장1부요약

2부인공지능이만들어낸문제들
6장얼굴을인식할수없습니다
7장억울하게체포된남자
8장왜나는집을찾을수없을까?
9장내돈은어디갔지?
10장인스타그램에서우울증을감지하는법
11장챗지피티는왜나를히틀러의오른팔로만들까?
12장일레인허츠버그는왜죽어야했을까?
13장2부요약

3부왜이렇게되었는지알아야할때
14장검증가능한결정과검증불가능한결정
15장언어행위는언제성공하는가?
16장컴퓨터가내글에점수를매길수있을까?
17장계정이갑자기정지된이유
18장내가테러리스트라고?
19장인공지능과‘일반적인절차’의학습
20장가치판단이자동화될수있을까?
21장3부요약

4부우리는앞으로어떻게결정을내릴것인가?
22장자동화된의사결정시스템을활용하면어떤점이더나을까?
23장나의알고리즘을언제사용할수있을까?
24장영리한한스,어떻게그렇게할수있니?
25장이의제기는가치가있다
26장4부요약


출판사 서평

AI를통한사소한오류가치명적인위협으로나타나는사례들

-카드한도가왜이럴까?
“우리는아무도차별하지않습니다!
알고리즘이그렇게결정했을따름이죠!”
위의애플과골드만삭스직원들의항변은,이책에등장하는데이비드핸슨이그의아내제이미와동시에애플기기를통해신청한애플카드가자신의한도는1,000달러인것에비해아내의한도는50달러에불과한상황에대한해명을요구했을때들은답변이다.제이미는백만장자였고심지어남편데이비드보다신용등급이높았음에도불구하고카드의한도가무려20배나차이가났다.이에대하여문제를제기하자,애플사와이애플사에협력해카드를발급하는골드만삭스가이구동성으로내놓은답이‘AI때문’이라는것이다.수많은사람들의돈과신용을관리하는대기업들의답변이라고보기엔너무궁색하지않은가?
결국데이비드는‘성별에따라AI가차별’을하는알고리즘을택하고있지는않은지를의심했다.하지만,이문제를파고들수록데이비드는더당혹스러운경험을하게된다.“알고리즘에정확히어떤자료를입력했는지,혹시그과정에서잘못된정보들이끼어들지는않았는지물어볼수있는곳이아무데도없다”는것이다!즉AI에누군가의데이터를입력하면정확히AI가어떻게결정을하는지,어떤차이때문에신용한도가달라지는지아무도설명하지못한것이다.그도그럴것이,그누구도데이터입력이후AI내부에서어떤일이벌어지는지를정확하게알지못했다.결국이것이사람들이앵무새처럼‘AI때문’이라고둘러대기만할뿐시원하게설명하지못하는근본적인이유이기도했었다.

-AI가범인으로지목한남자
“이건내가아니에요.”
“하지만컴퓨터가이게당신이래요.”
AI의오해로억울하게체포된로버트윌리엄스의이야기다.시계를훔쳤다는이유였는데,현장의CCTV에찍힌흐릿한화면이그근거였다.영상에는체구가크고흑인인지단순히피부가가무잡잡한것인지도식별이어려운범인의옆모습이찍혔는데,그영상을토대로흑인이고체구가비교적컸던윌리엄스가체포된것이다.명확한알리바이가있음에도불구하고그의항변은받아들여지지않았고구금된지30시간뒤겨우풀려날수있었다.이후윌리엄스는경찰을고소했고,이고소를통해밝혀진내막은당황스러웠다.소프트웨어에무엇을입력하든,누군가는‘가장유사한사람’이되어야하도록프로그래밍되어있었기때문에입력되는데이터중누군가는범인이되어야만했다는것이다!모든가능성을고려할것이라고인간들이지레짐작해서범인색출에까지활용되고있던기술이,사실은‘범인없음’이라는선택지는설정하지않아생사람을잡도록프로그래밍되어있었다.
프로그래밍의태생적인한계에더해이사태를더키운원인은이러한기술을현장에투입하면서도그것을사용하는사람들에게소프트웨어의결과를어떻게다루는지와관련된어떤교육도진행되지않았다는점이다.심지어이프로그램의결과가수사의단서로만고려될수있을뿐,증거효력이없다는가이드라인이존재했음에도불구하고말이다.모범시민을범죄자로낙인찍을수도있는중대한사안에서어떻게이런말도안되는해프닝이벌어진것일까?결국‘AI’때문일까?

-자율주행차의첫사망자
“우버의세상에서는왜
모든보행자가공식적인횡단보도로만길을건너는가?”
자율주행차량으로인해사망한첫보행자인일레인허츠버그의이야기를들여다보자.이것은현대의자동차처럼굉장히복잡한시스템에자동화된의사결정시스템이사용될때무슨일이일어날수있는지를단적으로보여주는데,개발팀의가장작은모델링결정조차도얼마나중요한지에대한경종을울리는사례이기도하다.
보통차보다훨씬많은센서를장착하고인간보다훨씬빠른속도로반응할수있는최첨단의우버차량이,늦은밤자전거를끌고귀가하던한여성을친다.심지어이차량안에는‘휴먼인더루프(인간이기계를감독하고문제시바로개입하도록한시스템)’의일환으로인간운영자가차량에탑승하고있었다.
차량시스템은그물체의속도와예상운동방향을측정해물체의경로를예측한다.보고서에따르면,자전거와자동차에대해서는첫경로예측에서차선방향으로이동할것이라는점이자연스런‘목표’로할당되어있었다.즉기계에게자동차와자전거는도로를주행하는것이지,도로를‘횡단’하는것이아니다.보행자의경우,횡단보도가있지않은한그런목표가없었다.즉기계에게‘무단횡단하는보행자’라는선택지는없었다.이런모델링결정은전체적으로‘차량시스템이임의의지점에서도로를횡단하는보행자를고려하는것은불가능’하게끔했다.
그럼차량안인간운영자는무엇을했는가?차량설계자들이‘인간운영자는시종일관도로를주시할것’이라는가정을깨고계속무릎에있는핸드폰을보고있었던것으로드러났다.하지만엔지니어들이극단적상황에서는인간운영자가개입하리라고가정해1초간브레이크를실행하지않도록해놓은것이운영자에게는고지되어있지않았다는사실역시드러났다.
그렇다면누가허츠버그의죽음에책임이있을까?인공지능일까?

사이버공간에서인간의주도권찾기:인공지능의맹점정확히알기

-알고리즘과휴리스틱,그리고‘블랙박스’
많은사람이‘알고리즘’이라고부르는기계의절차는사실대부분휴리스틱에의존한다.알고리즘이란명확히정의된문제를최적의해로풀어내는절차지만,현실의문제는불완전하고복잡하다.그래서인공지능,특히머신러닝은대규모데이터에서패턴을찾아규칙을만들고,이를기반으로결정을내린다.이과정에서데이터선정,측정방법,모델설계등수많은주관적모델링결정이개입되며,결과적으로시스템은외부에서들여다보기어려운‘블랙박스’가된다.
언론이흔히‘알고리즘’이라는단어를코드나소프트웨어의동의어로쓰지만,츠바이크교수가주목하는진짜문제는훈련데이터와휴리스틱과정에서형성된의사결정규칙이다.계산절차를아는것만으로는‘왜’라는질문에충분히답할수없다.

-잘못된결정을만드는긴사슬
책은이어서잘못된인공지능결정의사례를풍부하게제시한다.얼굴인식에서나타난성별·인종편향,데이터혼입으로인한무고한사람의체포,자율주행차의보행자인식실패등은모두‘책임성의긴사슬’속에서발생한다.데이터수집,알고리즘선택,품질측정,결과해석,실행등모든단계에서오류가능성이존재한다.
여기서중요한사실은,인공지능자체는의식도의도도없다는점이다.오류의근원은사람―즉시스템을설계하고운영한인간의선택과결정―에있다.그러나일부오류는데이터와방법이상호작용하며예기치않게발생하는창발적현상이어서원인을단일하게특정하기어렵다.

-검증가능성과불가능성사이
츠바이크교수는자동화된결정을검증가능성에따라세가지유형으로구분한다.첫째,발생빈도가너무적어학습자체가불가능한결정.둘째,개별·집단수준에서정확성과공정성을평가할수있는결정.셋째,가치판단이포함되거나개인단위에서는즉시검증이불가능하지만,집단통계로는사후검증이가능한결정이다.
츠바이크는특히마지막유형에서중요한질문을던진다.“기계의판단이인간보다더나은가?”완전히이해할수없어도,기계가더일관되고공정하다면활용가능성이있다.하지만“원칙적으로검증가능하다”는범주가현실에서는명확하지않으며,비용과시간이과도하게소요되면사실상검증이불가능하다는점을경고한다.

AI라는보이지않는불을손에넣은프로메테우스,인간
유토피아냐,디스토피아냐는결국인간의선택에달려있다

AI가상용화된지불과3년남짓,이제인간은커다란결정을강요받고있다.AI는해악인가?아니면AI는마술지팡이인가?양극단을오가는설전속에서인간이진정으로원하는미래를얻기위해이제무엇을해야하는가?
카타리나츠바이크는수년간의숙고끝에하나의통일된해법이아니라,모든경우에적용할수있는기본원칙을제시한다.검증이가능한결정이라면정기적인품질점검,데이터사용의투명성,신속한이의제기절차가필요하다.동시에인간과기계가함께의사결정을내릴때의사회적·기술적결과를이해하고설계하기위해학제간연구가필수적이다.
심리학,윤리학,철학,사회학,법학등다양한분야가협력해야하며,정보과학자가제도설계에적극참여해야기술적요구가의미있게반영될수있다.2024년3월유럽의회가통과시킨세계최초의포괄적‘인공지능법’은이러한방향성을제도화하는첫걸음이다.

독자가던져야할질문들
츠바이크교수는독자들에게도역할을부여한다.새로운인공지능기반의사결정시스템이등장한다면이렇게물어야한다.
-이결정은검증가능한가?
-검증하기위해무엇이필요한가?
-결과는공정하며,특정집단에차별적이지않은가?
-통계적으로만검증가능하다면,기계의결정은인간보다확실히뛰어난가?
-인간과기계가함께결정하는구조는어떻게설계되어야하는가?

저자는“각각의사례에서이질문에답할수있다면,우리는더나은결정을내릴가능성이높아진다”고강조한다.

《무책임한AI》는단순히기술비판서가아니다.알고리즘과데이터,모델링과검증의과학적구조를낱낱이분석하면서,인공지능이사회에끼치는실제영향을보여준다.츠바이크교수의문장은과학자의엄밀함과시민의책임의식을함께담아,AI시대를살아가는이들이스스로를보호하고더나은의사결정구조를만들어갈수있는지침서가된다.기계와함께더나은결정을내리는법은,우리가지금어떤질문을던지는가에서시작된다.