통계의 함정 (통계의 역설로 본 환상과 거짓)

앨런B.다우니

저자:앨런B.다우니
올린공과대학(OlinCollegeofEngineering)컴퓨터공학과의명예교수이자온라인교육회사인브릴리언트(Brilliant)의커리큘럼디자이너이다.『씽크파이썬』(길벗,2017),『파이썬을활용한베이지안통계』(한빛미디어,2023),『ThinkStats』(한빛미디어,2013)등다수의저서가있다.통계학과데이터과학,그리고관련주제들로자신의블로그[ProbablyOverthinkingIt]에흥미로운글들을올리고있다.

역자:김상현
캐나다에서정보공개및프라이버시전문가로일하고있다.토론토대학교,앨버타대학교,요크대학교에서개인정보보호와프라이버시법규,사이버보안을공부했다.캐나다온타리오주정부와앨버타주정부,브리티시컬럼비아(BC)주의의료서비스기관FNHA,밴쿠버아일랜드의수도권청(CapitalRegionalDistrict)등을거쳐지금은캘리언그룹(CalianGroup)의프라이버시관리자로일하고있다.저서로『디지털의흔적을찾아서』(방송통신위원회,2020),『유럽연합의개인정보보호법,GDPR』(커뮤니케이션북스,2018),『디지털프라이버시』(커뮤니케이션북스,2018),『인터넷의거품을걷어라』(미래M&B,2000)가있고,번역서로는에이콘출판사에서출간한『해커의심리』(2024),『어둠속의추적자들』(2023),『공익을위한데이터』(2023),『인류의종말은사이버로부터온다』(2022),『프라이버시중심디자인은어떻게하는가』(2021),『마크저커버그의배신』(2020),『에브리데이크립토그래피2/e』(2019),『보이지않게,아무도몰래,흔적도없이』(2017),『보안의미학』(2015),『똑똑한정보밥상』(2012),『불편한인터넷』(2012),『디지털휴머니즘』(2011)등이있다.

1장.당신은정상인가?힌트:아니오
__존재…팔길이
__왜?
__분포도비교
__얼마나가우스적인가?
__'평균남성'의신화
__빅파이브
__우리는모두똑같이비정상이다
__하지만누군가는다른이들보다더평등하다
__출처와관련문헌

2장.릴레이경주와회전문
__강좌크기
__데이터의편향성제거
__내기차는어디에?
__당신은인기가있는가?힌트:아니오
__슈퍼전파자찾기
__도로에서느끼는분노
__그냥한번방문하는경우
__재범률
__검사의역설은어디에나널렸다
__출처와관련문헌

3장.전통을거부하고세계를구하라
__가족의규모
__대공황과베이비붐
__더최근에는
__프레스턴의역설
__한자녀를덜낳으면
__장기적으로는
__현실은
__현재
__출처와관련문헌

4장.극한치의사람들,아웃라이어들그리고역대최고들(GOATs)
__예외
__출생체중은가우스적이다
__체중증량시뮬레이션
__달리는속도
__체스순위
__역대최고
__우리는무엇을해야할까?
__출처와관련문헌

5장.새것보다나은
__전구
__지금이라도곧
__암환자의생존기간
__출생시기대수명
__아동사망률
__불멸의스웨덴인
__출처와관련문헌

6장.속단하기
__수학과구술능력
__엘리트대학교
__덜우수할수록더커지는상관관계
__세컨티에이대학교
__병원데이터에나타난벅슨의역설
__벅슨과COVID-19
__벅슨과심리학
__벅슨과우리
__출처와관련문헌

7장.인과,충돌그리고혼란
__300만명의유아데이터가틀릴수없다
__다른그룹들
__역설의끝
__쌍둥이의역설
__비만의역설
__벅슨의토스터
__인과관계의다이어그램
__출처와관련문헌

8장.재난의긴꼬리
__재난의분포
__지진
__태양플레어
__달분화구
__소행성
__긴꼬리분포도의기원
__주식시장의붕괴
__블랙스완과그레이스완
__긴꼬리분포도의세계
__출처와관련문헌

9장.공정과오류
__의료검사
__더높은유병률
__더높은특이도
__나쁜의학
__음주운전
__백신의유효성
__범죄예측
__그룹비교
__공정성은정의하기어렵다
__공정성은성취하기어렵다
__기저율의모든것
__출처와관련문헌

10장.펭귄,염세주의자그리고역설
__늙은낙관주의자,젊은비관주의자
__실질임금
__펭귄들
__심슨의처방
__백신은효과가있는가?힌트:그렇다
__실체폭로재론
__공개데이터,공개토론
__출처와관련문헌

11장.마음바꾸기
__나이든인종차별주의자들?
__젊은페미니스트들
__동성애공포증의괄목할만한감소
__1990년에무슨일이있었나?
__집단효과인가,아니면시대효과인가?
__오버튼창
__출처와관련문헌

12장.오버튼창을좇아서
__늙은보수주의자,젊은자유주의자?
__'보수주의적'이라는것은무슨뜻인가?
__어떻게이럴수있을까?
__중심은정지해있지않다
__모든것은상대적이다
__우리는더양극화했는가?
__오버튼을좇아서
__출처와관련문헌
__부록:15개의질문

에필로그

이책의구성

이책에서다루는몇몇사례들은기존에출간된연구내용이고,다른경우는데이터에대한내나름의관찰과탐구내용이다.이전연구결과를그대로보고하거나수치를베끼기보다는해당분석을따라해보고,스스로수치를만들었다.어떤경우는오리지널작업이검증을통과하지못했고,그런사례는이책에서제외했다.일부사례의경우,나는더최근데이터를가지고같은분석을수행할수있었다.이런업데이트는미처예상하지못한깨우침도주었다.예컨대'출생시저체중의역설'은1970년대에처음관찰됐고1990년대까지지속됐지만최근데이터에서는사라졌다.
이책에소개된모든작업은재현가능한과학분야의툴과방법론에근거하고있다.나는주피터(Jupyter)노트북을사용해글과컴퓨터코드와결과들을한문서로통합했다.이문서들은버전관리시스템으로정리함으로써일관성과정확성을확보했다.최종적으로나는넘파이(NumPy),사이파이(SciPy),판다스(pandas)등과같이신뢰할수있는오픈소스라이브러리를이용해약6000줄의파이썬코드를작성했다.물론내코드에버그가있을수도있지만,결과들에심각하게영향을미치는오류의위험을최소화하기위해테스트를거쳤다.나의주피터노트북은온라인에공개돼있기때문에누구라도내가실행한분석을손쉽게재현해볼수있다.