숫자에 약한 사람들을 위한 통계학 수업 : 데이터에서 세상을 읽어내는 법

데이비드스피겔할터

저자:데이비드스피겔할터DavidSpiegelhalter
영국의통계학자.케임브리지대학교의윈턴위험및증거커뮤니케이션센터(WintonCentreforRiskandEvidenceCommu-nication)회장을맡고있다.옥스퍼드대학교를졸업했고,유니버시티칼리지런던에서과학석사학위와철학박사학위를받았다.2007~2018년케임브리지대학교통계학교수를역임했다.그간의연구업적을인정받아2014년엘리자베스2세여왕으로부터기사작위를받았으며,2020년왕립통계학회에서가이메달(GuyMedal)금상을수상했다.2017~2018년왕립통계학회회장을지냈고,2020년현재영국정부의통계위원회비상임위원으로활동하고있다.통계증거를올바르게이해하고다루는방법에관한연구를수행하며학교나기관,미디어에서강연자,자문,해설자등으로활동하고있다.

역자:권혜승
서울대학교수학과를졸업하고,스탠퍼드대학교수학과에서박사학위를받았다.서울대학교수리과학부에서학생들을가르치고있다.옮긴책으로는『수학기호의역사』『소수와리만가설』『내가사랑한수학』등이있다.

역자:김영훈
서울대학교수학과를졸업하고예일대학교에서수학박사학위를받았다.2000~2002년에스탠퍼드대학교조교수로재직했고,2002년부터서울대학교수리과학부교수로재직중이다.대한수학회논문상,한국과학기술한림원젊은과학자상,한국연구재단이달의과학기술자상,대한수학회디아이수학자상등을수상했다.저서로『양자정보이론』(공저)이있다.

들어가며
1장비율로표시하기:범주형데이터와백분율
2장숫자들을요약하고전달하기:데이터의위치,퍼짐,관계
3장부분에서전체를추론하기:모집단과측정
4장무엇이무엇의원인인가?:인과관계
5장관계를모형화하기:회귀모형
6장분석하기와예측하기:알고리즘
7장추정을얼마나확신할수있나?:표본의크기와불확실성구간
8장불확실성과변동성의언어:확률법칙과이론
9장확률과통계가만났을때:확률모형에기초한통계적추론
10장질문에대답하기와발견을주장하기:가설검정과통계적유의성
11장경험으로부터배우기:베이즈방법
12장일들은어떻게잘못되는가?:오류와속임수
13장더나은통계학을위하여:신뢰성과윤리문제
14장결론:통계학을잘하는10가지방법
감사의말
용어집
미주
찾아보기

넘쳐나는정보속거짓과우연을피해
현명한선택을이끄는통계적사고의힘

2015년,WHO에서햄,소시지같은가공육이담배와석면이속한‘1군발암물질’에해당하며,매일50그램의가공육을먹으면장암발병률이18%높아질수있다고밝혀전세계를충격에빠뜨렸다.그렇다면거의다섯중하나가암에걸린단말인가?
반응은즉각적이었다.당장마트에서햄이나소시지매출이눈에띄게줄었다.학교급식식단에서햄이나소시지등의가공육을아예퇴출시켜야한다는목소리가높아졌다.햄버거등의외식업계는급감하는소비에타격을입었다.
알고보니이18%라는무시무시한숫자가진정의미하는바는상대적인증가율이었다.영국의경우장암에걸리는사람은통상100명중6명꼴이다.여기에18%라는상대적인증가율을적용하면이6명은7명이된다.즉실제암에걸리는사람은고작1명증가한다.
『숫자에약한사람들을위한통계학수업』은일상에서만나는숫자들을합리적으로의심하고참과거짓,우연과필연을구별해내는법을알려준다.저자데이비드스피겔할터(DavidSpiegelhalter)는케임브리지대학교통계학교수와왕립통계학회회장을역임한세계적인통계학자다.그는복잡한수학을사용하지않으면서도상대위험도와절대위험도,상관관계와인과관계,대중의지혜,평균으로의회귀같은통계학의핵심개념을놀랍도록쉽고명쾌하게설명한다.
우리는이미거의모든것을통계로말하고생각한다.이책을통해독자들은빅데이터시대에필요한실용적이고생산적인통계적역량을쌓을수있다.

통계는우리가당면한문제에관해명확성과통찰력을가져다주지만,어떤의견을조장하거나단순히관심을끌기위해오용되기도한다.따라서어떤통계적주장이믿을만한지판단하는능력이현대사회에서점점중요해지고있다.이책이일상에서맞닥뜨리는숫자들에관해질문을던질수있는힘을주길바란다.(22쪽)

수포자도얼마든지읽을수있다!
쉽게배우고제대로써먹는통계학공부

최근에통계가한국사회를뜨겁게달구고있다.정부에서발표한고용,소득,부동산관련경제지수를두고그근거를둘러싼논쟁이끊이지않고있다.또이번장마에기상예측이크게빗나가면서비판여론이거세지자기상청이해명에진땀을빼고있다.
사람들이통계에이토록예민한이유는그만큼일상의의사결정에통계적근거를광범위하게활용하기때문이다.우리는일기예보를보고우산을챙길지말지결정한다.어떤식당에가고어떤영화를볼지를결정할때는포털이제공하는사용자평점을참고한다.그밖에여론조사결과는투표에,경제지수는투자등의가계운용에영향을미친다.
이런숫자들을해석하고통계적결론들을비판적으로분석하는능력을데이터문해력(dataliteracy)이라고한다.특히빅데이터시대에데이터가커지고복잡해짐에따라어떤증거가실제로얼마나가치있는지판단하는것이무엇보다중요해졌다.
저자는데이터문해력을키우기위해서는수학문제를풀기위한통계학이아니라,실세계의문제를해결하기위한통계학을배워야한다고주장한다.이책은48가지의흥미로운질문들을통해데이터로부터진정한세상을읽어내는지적여정으로독자들을이끈다.그중몇가지를요약해소개하면다음과같다.

？통상적인사망자수보다몇명이나더죽어야연쇄살인을알수있을까?
해럴드시프먼(HaroldShipman)은영국에서가장많은사람을살해한범죄자다.가정의인그는1975~1998년에자신의환자중적어도215명에게과다한양의진정제를주사해죽음에이르게했다.유가족들은그가그렇게오랫동안아무의심도받지않고범죄를저질렀음에경악했다.조사팀은통계적모니터링이이루어졌다면1984년에유의미한과잉사망의증거를발견했을것이고만약그때시프먼을신고했더라면약175명을구할수있었을거라고결론내렸다.

？기도는환자의회복에도움이될까?
연구자들은심장수술을받은1800명의환자들을세그룹으로나누었다.첫번째그룹은기도를받았으나그사실을몰랐다.두번째그룹은기도를받지않았고마찬가지로그사실을몰랐다.세번째그룹은기도를받았고그사실을알았다.실험결과기도를받은그룹과그렇지않은그룹간의미있는차이는없었다.하지만세번째그룹에서는합병증에시달리는환자가약간증가했다.한연구자는이렇게말했다.“환자들은기도를받아야할만큼내가엄청아픈가,하고의아해하면서불안해했던건지모른다.”

？교통사고가줄어든것은정말로과속단속카메라덕분일까?
과속단속카메라가설치된이후에사고율이내려가면,사람들은카메라덕분이라고생각한다.하지만사고율은어쨌거나내려가지않았을까?연구자들은과속단속카메라의진정한설치효과를알아내기위해카메라를무작위로배치했다.그결과,카메라설치효과중약3분의2는평균으로의회귀때문으로추정되었다.다시말해,연이은행운이나불운은영원히계속되지않으며,결국사태는다시잦아들기마련이다.

？정확도가90%인암검사결과양성인사람이실제암에걸렸을확률은?
검사를받은사람이1000명이고그중1%인10명이실제암에걸렸다고가정하자.그10명중9명(90%)은양성판정을받는다.한편,암이없는990명중99명(10%)이잘못된양성판정을받는다.따라서양성판정자가실제암에걸렸을확률은9/108,약8%에불과하다.조건부확률에관한이연습문제는직관에반한다.검사의정확도가90%임에도,양성판정자대다수가사실암에걸리지않은것이다.우리는암에걸렸을때검사결과가양성일확률과양성결과가나왔을때암에걸렸을확률을구별해야한다.

우리삶을지배하는알고리즘은어떻게만들어질까?
데이터과학과인공지능을위한교양으로서의통계학

프랜시스서머턴은영국사람으로아내와어린딸을영국에남겨둔채미국에가서돈을벌어올요량으로8파운드1실링짜리타이태닉호삼등석티켓을샀다.한편,칼달은45세노르웨이가구공으로서머턴과같은운임을내고홀로배에올랐다.그들은비슷하게가난했고또절박했지만1912년4월14일밤에두사람의운명이갈렸다.서머턴은차가운바다밑으로가라앉았지만달은15번구명보트에가까스로기어올랐다.
서머턴은단지운이나빴던걸까?아니면실제로생존가능성이희박했던걸까?그저직감에따라그가남자였고삼등석에탔다는이유로생존할수없었을거라단정할수도있다.하지만호칭,성별,나이,티켓가격등의데이터를활용해타이태닉승객의생존여부에대한다양한예측알고리즘을설계하면우리는보다구체적인생존율을구할수있다.
오늘날우리는실시간교통정보를수집해최적경로를안내하고평소온라인쇼핑내역을바탕으로맞춤광고를제공하는등의다양한알고리즘에둘러싸여있다.뿐만아니라앞으로빅데이터를활용한데이터과학이발전할수록의료,금융,치안같은분야에서알고리즘에대한의존도는더욱높아질것이다.
따라서전문가가아니더라도알고리즘의구조와파악하고그한계를명확하게이해할필요가있다.이책은알고리즘의근간이되는회귀,과대적합,교차검증,베이즈추론등의통계학이론들을알기쉽게설명해준다.처음통계학을공부하는초심자뿐아니라데이터과학과인공지능을위한교양으로서의통계학을배우려는사람에게이책은좋은길잡이가되어줄것이다.

통계학의고수처럼생각하는10가지방법

마지막으로현명한통계학의고수가되고자하는이들에게저자가제안하는10가지방법을소개한다.

1.통계적방법은데이터가과학적질문에답하게해야한다.특정기법에초점을두기보다왜이것을하는지를질문하자.
2.신호는항상잡음과함께나타난다.그두가지를구분하려는노력이통계학을흥미롭게만든다.변동성은피할수없고,확률모형은추상적개념으로유용하다.
3.미리,정말로미리계획하라.확증적연구에선연구자의자유도를피하기위해사전설명서를사용하자.
4.데이터의질에신경써라.모든것은데이터에달려있다.
5.통계분석은계산그이상이다.이유를알지못한채,그저데이터를공식에집어넣거나소프트웨어를실행하는건바람직하지않다.
6.단순함을유지하라.중요한전달은가능한기초적이어야한다.괜히복잡한모형화로기량을뽐내지말자.
7.변동성평가를제공하라.오차범위가일반적으로주장되는것보다크다는경고도함께.
8.가정을점검하라.그리고이것이언제가능하지않았는지밝히자.
9.가능하다면,재현하라!또는다른사람들이그렇게하도록권장하자.
10.분석이재생산될수있게만들어라.다른사람들이당신의데이터와코드를얻을수있어야한다.

통계학은우리삶전반에서중요한역할을하고있으며,오늘날더많은데이터를이용할수있게됨에따라꾸준히변화하고있다.그것은사회에영향을미칠뿐만아니라개인에게도영향을미친다.이책을준비하면서통계학이내삶을얼마나풍요롭게만들었는지깨닫게된것처럼당신도그러길바란다.당장지금이아니더라도언젠가미래에.(418쪽)