데이터 과학자의 사고법 : 더 나은 선택을 위한 통계학적 통찰의 힘

김용대

저자:김용대
서울대학교통계학과및데이터사이언스대학원데이터사이언스학과교수.미국오하이오주립대학교에서통계학으로박사학위를받고,미국보건연구소연구원(1997~1999)을지냈다.한국외국어대학교(1999~2001),이화여자대학교(2001~2004)교수를역임했으며,2004년부터서울대학교에재직중이다.학생들을가르치며생존분석,베이지안방법론,데이터마이닝,기계학습,딥러닝등을연구하고있다.
2002년IEEE데이터마이닝학술대회최우수상,2003년연구재단우수연구30선,2007년서울대학교연구력향상공로상,2007년품질경영학회우수논문상,2014년한국데이터정보과학회공로상,2017년ICCM학술대회최고논문상,2018년한국통계학회한국갤럽학술상등을수상했다.2019년국제이론통계학회의펠로Fellow로선정되었으며2020년부터한국데이터마이닝학회장을맡고있다.
이책은우리일상에깊숙이들어와있지만여전히낯설고어려운데이터를읽어내고해석하며활용하는방법을일상속사례를통해알기쉽게설명한다.나아가우리가선택의기로에서주관적인감에의존하지않고합리적으로판단하는통계학적사고법을알려준다.

프롤로그:데이터과학으로들어가기

1부데이터리터러시:숫자없는통계학
1장역사속의데이터?무지와탐욕을밝히는열쇠
2장불확실한세상을위한언어?확률
3장확률,그오묘함에대하여?조건부확률
4장종모양의데이터?정규분포
5장요약본능과변동의이해-표준편차
6장합리적으로판단하기?가설검정과대립가설
7장관계의이해?상관관계와인과관계
8장2년차징크스는왜생길까??평균으로의회귀
9장왜내차선만막히나요?-데이터편이
10장걱정은팔자가아니고과학입니다-극단값
11장술취한사람이해하기-임의보행
12장미래예측하기?차원의저주와과적합문제
13장너의마음을보여줘-표본조사
14장로또에당첨되는법-다중비교
15장목표없는정보의허무함?빅데이터와세분화의함정
벤포드의법칙


2부데이터의활약상:세상만사의데이터과학
1장데이터의발자취?인구조사에서빅데이터시대까지
2장네번째과학?꿈의촬영에서중력파검출까지
3장건강한사회를위하여-질병과의전쟁
4장백신을위한과학?임상시험과데이터
5장공동체를위하여?신뢰받는통계의중요성
6장민주주의와선거?유권자의마음을읽어라
7장금융과신용-서민을위한데이터
8장광고속데이터과학?당신도모르는당신의마음
9장제조업을위한데이터과학?좋은제품의비밀
10장프라이버시보호?개인정보유출과데이터익명화
백신개발을위한특별한확률

3부인공지능:데이터과학의새로운도전
1장인공지능의역사
2장알파고의탄생
3장인공지능의활약과부작용
4장인공지능을인간답게
알파고vs이세돌,그뒷이야기

에필로그:불완전한사회속더나은선택을위한데이터과학
주
참고문헌

한치앞도예측불가능한상황을돌파하는가장확실한사고법
확률로결정되는세계를탐험하기위한안내서
수학에서통계분야는‘수포자’를양산하는것으로악명이높다.이처럼확률과통계가어려운까닭은우리의직관에반하는경우가많기때문이다.안타깝게도현실은항상우리경험과직관보다통계의손을들어주기때문에우리의많은행동이잘못된선택이되곤한다.저자김용대교수(서울대통계학과)는우리를잘못된판단으로이끄는여러오류와편향에대해사회속다양한사례를통해‘수포자’도이해할수있게설명해준다.
누구나한번쯤은생각해봤을법한‘내가기다리는버스만늦게오는머피의법칙’을설명해주는‘길이편이’부터수많은수학천재들을파산시킨‘극단값’,2년차징크스의미스터리인‘평균으로의회귀’,행운의로또번호를맞추는방법인‘다중비교의오류’,투자자들을울리는주식시장의‘임의보행’까지책에등장하는통계의핵심개념들은지적자극과새로운통찰력을선사하면서우리를확률의세계로인도해준다.
나아가《데이터과학자의사고법》은수학교과서로만접했던통계와확률이얼마나우리일상속에얼마나많이사용되고있으며쓸모가있는지보여준다.사실우리는일상에서부동산이오를지내릴지예측하면서이미‘조건부확률’이라는통계적사고를적용하고있다.단지잘못된데이터와어림짐작에근거해서부정확한분석을할뿐이다.책에는우리의어림짐작과실제확률이얼마나다른지보여주는사례가많이등장하는데,이를통해우리가흔히착각하는확률에대한오해를풀어준다.97%거짓말탐지기가법원의증거로채택되지못하는이유,한반에생일이같은두사람이있는이유,선거전문가들이트럼프의당선을예측하지못한이유,백신의예방효과가확률이아닌이유같은사회적으로중요한상황에서의통계적판단은처음접한다면거짓말처럼느껴진다.그러나설명을따라가다보면우리의직관과경험이틀렸으며통계적사고가진실로가는가장확실한길임을인정할수밖에없을것이다.

데이터과학의눈부신활약과그림자
그리고이해와협력의기초로서데이터과학
통계학은현재데이터과학으로확장되어‘21세기의석유’라고불릴정도로주목받고있다.유튜브의추천동영상,인터넷쇼핑,새벽배송등보이지않지만새롭게일상이된서비스들이모두데이터과학을기반으로하기때문이다.동시에데이터과학이우리의일상속으로깊숙이스며들면서이전에는없었던새로운사회적문제들도발생하고있다.
최근벌어진인공지능챗봇‘이루다’사건은이런새로운문제를종합적으로보여준다.딥러닝을통해대화를학습한‘이루다’는자연스러운반응으로화제를불러일으켰지만,혐오발언과개인정보유출로결국서비스는중단되고말았다.‘이루다’사건은인공지능의윤리적문제,개인정보유출과데이터익명화문제를모두보여준다.《데이터과학자의사고법》은각종산업현장에서활약하고있는최첨단데이터과학과인공지능의현재와미래를설명하는동시에이미현실화하고있는데이터과학으로인한문제들에대해서도심도있게다룬다.데이터익명화의난점을비롯해알고리즘설계시편향으로인한인공지능윤리문제를조명하고,대안으로평가받는‘설명해주는인공지능’개념까지설명해준다.
이처럼김용대교수는데이터과학이세계와우리의삶을얼마나바꿔나갈수있는지이야기하는동시에데이터과학의한계와그의미를지적하는것역시놓치지않는다.데이터는왜곡과조작에매우취약할뿐아니라같은데이터를어떻게분석하느냐에따라전혀다른해석이나오기도한다.모든통계에는오류가있을수있으며,따라서데이터를통해얻은판단의한계를알아야한다는것이다.설령완벽한데이터가있다해도완벽한선택을보장할수없다.불확실성이세계를움직이는법칙이듯불완전한선택역시불가피한것이다.결국자신의판단에내재된불완전성을이해할때비로소타인의판단에대해더잘이해할수있고존중과협력이가능해진다.의견대립이극단으로치닫는오늘날,데이터과학자가사회에던지는시사점이자우리가데이터과학을더많이이해해야하는이유이다.