“굉장히흥미롭고대단히심란케하는책”
《사피엔스》저자유발하라리강력추천
아마존닷컴52주연속분야1위,2016내셔널북어워드선정작
[뉴욕타임스][네이처][보스턴글로브][포춘][커커스리뷰]등
12개주요매체‘올해의책’선정(2016)
수학과데이터,IT기술의결합으로탄생한빅데이터모형은편견에사로잡힌인간보다공정하며,개인의권리와이익을보호한다고알려져있다.그러나현실은정반대다.정부,기업,사회에도입된데이터기반의알고리즘모형들은인종차별,빈부격차,지역차별등인간의편견과차별,오만을코드화해불평등을확대하고,민주주의를위협하고있다.
하버드출신의수학자이자세계최고의헤지펀드퀀트,실리콘밸리의데이터과학자였던캐시오닐은수학과빅데이터의결합으로탄생한‘대량살상수학무기’가어떻게교육,노동,광고,보험,정치에이르기까지우리의삶을파괴하는지날카롭게파헤친다.
대량살상수학무기(WeaponsofMathDestruction)란?
수학과데이터,IT기술의결합으로탄생해교육,노동에서광고,보험,정치에이르기까지우리삶의다양한영역에걸쳐불평등을조장하고민주주의를위협하는알고리즘모형.
“실리콘밸리에서는절대들려주지않는빅데이터이야기”
‘보이지않는손’알고리즘의역습이시작됐다
《사피엔스》의저자유발하라리는“21세기인본주의시대에는인간의감정이최고의권위를누렸지만,미래에는알고리즘이우리삶을지배할것”이라고예측했다.유발하라리의분석처럼우리는힘을가지기위해우리존재를숫자와점으로바꾸고평가를알고리즘에맡기고있다.우리는이런흐름을‘빅데이터’라고부른다.빅데이터는방대한양의데이터를논리적이고합리적인알고리즘으로계산해인간이인지하지못하는질서와규칙을찾아낸다.따라서빅데이터모형은편견에사로잡힌인간보다공정하며,개인의권리와이익을보호한다고알려져있다.
그런데2016년미국에서출간돼지금까지뜨거운논란을일으키고있는《대량살상수학무기》는누가어떤목적으로사용하는가에따라알고리즘은전혀다른얼굴을가질수있다고말한다.
미국의상하원선거가치러지던2010년,페이스북의연구진들은한가지질문을던진다.(본문300쪽참조)
“페이스북알고리즘을조정해정치시스템에영향을줄수있을까?”
페이스북은이질문에답을찾기위해‘투표메가폰’이라는캠페인을시작했다.연구진들은상하원선거당일투표에참여한페이스북이용자가‘나는투표했다’는게시물을올리면,친구들의뉴스피드에해당게시물이우선적으로노출되도록알고리즘을조정했다.투표일에만6100만명의페이스북사용자가‘나는투표했다’는게시물을올렸고이에자극을받은다른이용자들도경쟁적으로페이스북에투표인증을했다.페이스북은‘투표메가폰’이약34만명의유권자를투표소로더불러낸것으로추정했다.이는미국한주의전체선거결과뿐아니라전국적인선거결과에도영향을미칠수있는숫자로,투표당일페이스북의알고리즘을어떻게조정하느냐에따라선거결과를바꿀수도있음을뜻한다.
《대량살상수학무기》는알고리즘의힘을‘신’같은존재로비유한다.알고리즘의의사결정과정은수학과IT기술로숨겨져있어서일반인들이이해하기힘들다.각영역의최고사제들,즉수학자와컴퓨터과학자들을제외하고는그누구에게도내부의작동방식을알수없다.페이스북의사례에서보듯이오히려인간은알고리즘의결정을자발적인선택이라고믿는다.
“굉장히흥미롭고대단히심란케하는책”-유발하라리
수학자,퀀트,그리고데이터과학자가고발하는대량살상수학무기의진실
《대량살상수학무기》는수학이론,빅데이터,IT기술이결합해만들어낸빅데이터모형이정치는물론교육,노동,서비스,행정,보험등우리가상상할수있는모든분야에서막대한영향력을행사하고있다고말한다.이책의저자캐시오닐은빅데이터모형중에서도인종차별,빈부격차,지역감정등인간이가진편견과차별의식을그대로코드화한알고리즘을사용하는모형은‘대량살상무기(WeaponsofMassDestruction)’만큼위험하다고보고이것들에‘대량살상수학무기(WeaponsofMathDestruction)’,줄여서WMD란이름을붙인다.
캐시오닐의독특한경력때문에책이출간될당시미국에서는“빅데이터업계의내부고발자의책([타임]서평)”이란평가를받았다.저자는하버드대학과매사추세츠공대(MIT)에서수학박사와박사후과정을이수한후젊은나이에수학연구로유명한버나드칼리지종신교수가된다.그러나2007년수학을현실세계에활용한다는매력에이끌려교수직을버리고세계적인헤지펀드업체디이쇼(D.EShaw)에서선물거래팀을이끈다.저자는그곳에서2000년대후반글로벌금융시장의호황과추락을온몸으로겪게되는데,특히부동산거품을불러온서브프라임모기지,신용부도스와프(CDS),합성부채담보부증권(CDO)등수학과금융기술,인간의욕망이결탁해탄생한금융상품들이어떻게대다수선량한시민들의삶을파괴하는지뼈저리게깨닫게된다.
이후그녀는IT업계로자리를옮겨데이터과학자가되는데WMD가‘빅데이터’와‘인공지능’이란이름으로금융업계를넘어사회의곳곳으로도입되는것을목격하게된다.예를들어,상점이나카페의종업원이밤늦게까지일하다가매장문을닫고퇴근한다음,불과몇시간후새벽동도트기전에다시출근해서매장문을여는노동방식을뜻하는클로프닝(clopening)은대표적인WMD다.기업들은고객들의이동정보,날씨,주요사건,구매정보등다양한데이터를분석해유연하게노동자의근무시간을짜고있다.이는기업입장에서는물류(logistics)적으로올바른선택이지만,불규칙한근무일정에내몰린노동자들은일하는것외에는어떤것도계획을세울수없게되었다.클로프닝은주로저임금단순업무에이용되는데이때문에저소득층일수록불규칙한생활환경에내몰리고더나은일자리를위한교육과훈련을받을수없어빈곤의악순환을가져오고있다.
“알고리즘은미래를예언하지못한다.대신미래를만들어낸다”
대량살상수학무기는어떻게불평등을확산하고민주주의를위협하는가
《대량살상수학무기》는불평등을확산하고,민주주의를위협하는WMD의특징을상세한사례와분석을통해파헤친다.WMD의특징은3가지로요약된다.
첫째불투명성이다.2007년워싱턴DC시장으로취임한에이드리언펜티는관내학생들의낮은학업성취도가무능한교사들때문이라고결론내리고새로운교사평가시스템을도입한다.‘임팩트’라는이교사평가시스템은‘매스매티카’란업체가계발한알고리즘기반모형이다.
임팩트는전학,가정불화,왕따등학업성취도에영향을주는여러변수는모두제외하고순전히학생들의시험점수만을가지고교사들을평가했다.하지만정책당국은상세한평가기준등은공개하지않았다.누군가알고리즘을들여다본다하더라도코드화된알고리즘에숨겨진평가기준은개발자를제외하고는그누구도이해하기힘들었다.
워싱턴교육청의임팩트를포함해이책에서소개할WMD중상당수가적절한피드백을받지못하고있다.오히려이들모형은스스로현실을정의하고,그결과를정당화하기위해왜곡된현실을이용한다.(중략)매스매티카의평가시스템이와이사키와205명의교사들에게실패자라는꼬리표를붙이자워싱턴교육당국은그들을모두해고했다.그런데이평가시스템에는이같은결정이옳은지에대해사후에학습하는과정이있을까?없다.시스템이교사들을실패자라고확신하면,평가는그것으로끝이다.
(서론중에서)
임팩트가도입된2년동안206명의교사가어떤설명도없이평가점수가낮다는이유로교단에서퇴출당했다.그중에는사라와이사키처럼동료교사와학부모들에게절대적인지지를받는헌신적인교사도포함되었다.어떻게이런일이벌어진것일까?교사평가점수가낮은교사는퇴출당한다는조건때문에교사들은학생들에게교육자적인관심을쏟기보다는시험준비에열을올렸다.심지어41개학교에서는불이익을우려해시험후에시험답안을수정하기도했다.일부학교에선전체학급의무려70%가이런부정행위에가담했다.WMD의불투명성은우리에게공정한경쟁,다양성보다는획일성과침묵을강요한다.
둘째,확장성.빅데이터모형은수천장에이르는각기다른사연이담긴이력서나대출신청서중에서가장유망한후보자의이름이맨위에올라가도록1~2초안에깔끔한목록으로정리할수있다.이런프로그램은기업에는수익을,사회에는효율을,개인에게는공정성을약속했다.그러나WMD가기업에게는효율과수익을약속하지만개개인에게는공정성보다는확장된사회통제를가하고있다.
우리나라와마찬가지로미국에서도신용평가점수는대출이나신용카드발급등에서중요한평가기준이됐다.신용평가점수는주로재무정보를취합해만들어진다.최근에는재무정보외에인종,학력,출신지는물론범죄기록,언어사용능력등온갖데이터를마구잡이로수집해신용도를예측하는e점수가널리쓰이고있다.미국의경우e점수는금융업계를넘어취업,보험,결혼업체에까지고객을평가하는잣대로확장되면서심각한부작용을겪고있다.
제스트파이낸스(ZestFinance)는e점수를활용해단기소액대출을제공하는스타트업이다.이회사는“모든데이터가신용데이터다”라고선언했는데대출신청자1인당최대1만개의데이터를수집,분석해위험도를측정한다.그데이터중에는온라인으로대출신청서를작성할때맞춤법을맞게쓰는지,구두점은제대로찍는지,신청서작성에얼마나시간이걸리는지등도포함된다.이는‘규칙을준수하는사람’이신용도가높다고본것인데이때문에교육수준이낮은저소득층이나이민자들이높은이율의대출을받게됐다.저자는이런행태가가난,인종에대한차별임에도불구하고알고리즘에교묘하게숨겨져있어서드러나지않는다고말한다.e점수는대출뿐만아니라일자리를구하고,아파트를빌리거나심지어데이터상대를소개해주는업체에도널리쓰이고있다.이는곧사회곳곳에서빅데이터의차별적판단이확산된다는뜻이다.
마지막으로,피해의악순환이있다.WMD가모든사람에게파괴적인영향을미치는것은아니다.WMD모형덕분에,어떤학생은잠재력을인정받아하버드대학교에진학하고,누군가는저금리대출을받거나좋은직장을구한다,일부운이좋은범죄자는가벼운양형을받기도한다.하지만일부예외를제외하면고통받는사람이너무많다.알고리즘에의해작동되는시스템들은자신들이정한기준에맞춰사람들을수치화하고,분류한다.예외는허용하지않는다.그래서수백만명의면전에서기회의문을닫아버리고이의를제기할가능성조차허용하지않는다.
저자는이를‘해로운피드백루프’라고부르는데대표적인것이범죄예측프로그램이다.지진감지프로그램으로개발된프레드폴(PredPol)은과거의범죄데이터를분석해범죄발생이예상되는지역을알려주는역할을한다.프레드폴은범죄가자주발생한지역에경찰력을집중적으로투입하도록설계되어있는데,이런지역은주로저소득층이거주하는지역이었다.경찰이강도,살인,강간같은중범죄를예방하기위해순찰을하는것일지라도,우범지대로분류된동네에서순찰시간이길어지다보니결국어느지역이든흔한미성년자음주,노상방뇨,단순절도등경범죄단속건수가높아졌다.이데이터는다시범죄예측시스템에취합되게되고,더많은경찰인력이그지역을순찰하게만든다.
현재미국에서는프레드폴외에도컴스텟(ComStat),헌치랩(HunchLab)등유사한예측프로그램이경찰을돕고있는데이프로그램의등장이후전체범죄율은줄어들었지만유색인종,저소득층의범죄율은증가했다고한다.
《대량살상수학무기》에서는노동,취업,교육,범죄양형,치안,보험등우리가상상할수있는모든영역에영향력을행사하는WMD를상세히소개하고이것들이불러올파괴력을전문가의시각에서분석한다.
“오직인간만이시스
