데이터지능(큰글자책) (데이터를 읽고 의심하고 추측하는 힘)

이긍희

서울대학교와미국TexasA&MUniversity에서통계학을전공했다.한국은행에서경제예측및정책분석모형개발,계절조정방법연구,국민소득통계작성업무를담당했다.이후한국방송통신대학교통계·데이터과학과교수로20년넘게재직하며학생들과함께통계학을가르치고,배우고,나눠왔다.통계학을단순한계산기술이나수학증명이아닌,데이터를통해세상을이해하고더나은결정을내리는데필요한사고의도구로인식하고,‘데이터뒤에숨은이야기’를발견하고해석하는데집중해왔다.《딥러닝의통계적이해》《빅데이터의이해와활용》《통계학의개념과제문제》《예측방법론》《데이터시각화》등여러저서를통해빅데이터와인공지능시대에필요한통계적사고를쉽고친근하게전하고자노력했다.방송통신대경기지역대학학장,디지털미디어센터원장,국가통계위원회분과위원,한국은행자문교수등을역임하며현장과교육,정책현장을넘나드는다양한경험을쌓았다.‘데이터는세상을읽는언어’라는믿음아래오늘도학생들과함께데이터속에숨겨진패턴과가능성을탐구하고있다.

프롤로그

1장__불확실한세상에동전을던져라
세상이불확실하다는것만확실할뿐/불확실성의정량화,확률의시작/차라리동전을던져라/생각을어떻게업데이트할까/보이는것이전부가아니다/아름다운확률분포,정규분포/슈뢰딩거의고양이는살아있을까/파스칼의선택기준

2장__세상의조각으로전체를읽다
하나를보면열을안다/중요한것은항해하는방법/표본조사는언제부터시작했을까/모집단을대표하는표본을뽑을수있을까/여론조사는왜틀리는가/여론조사의대안은

3장__가장가능성높은판단을하는가
군중심리인가군중의지혜인가/통계적으로사랑을찾다/통계적추정의편의와분산/통계적추정의기준,불편성과효율성/사법판단에서의통계적통찰,편의와분산/판결보조시스템은필요한가/자동볼판정시스템은야구를어떻게바꾸었나/표본평균은어떻게움직이는가

4장__낮은확률의사건을믿지마라
낮은확률의사건은왜과대평가될까/확률과심리를이용한사기,보이스피싱/통계적가설검정과형사재판/무고한사람을만들지말자/낮은확률을믿지않는다/그는정말초능력자일까/나는확률을정확히계산할수있을까

5장__까마귀날자배떨어진이유
〈살인의추억〉은왜범인검거에실패했을까/플랫폼은어떻게내가좋아하는것을알까/챌린저호의폭발과재앙의통계학/대형사고는우연히일어났을까/진짜원인찾기의여정

6장__변하는것과변하지않는것
모든모형은틀렸지만,어떤모형은유용하다/통계모형은어떻게만들까/와인가격을어떻게평가할까/작은모형이아름답다,오캄의면도날/외환위기와거시계량경제모형/빅데이터시대와통계분석패러다임의전환

7장_데이터,세상을보여주다
그림이많은것을보여준다/데이터너머의이야기/러시아원정과미나르의데이터시각화/나이팅게일,장미도표로생명을구하다/존스노우와콜레라맵/튜키,데이터과학을열다

8장__데이터로세상을읽고답하라
변동에서시작한통계적사고/불확실한세상을읽는렌즈/변동을고려한통계적사고/데이터를표로체계화하라/식목왕과식목년표/통계는신뢰의소프트인프라/20세기위대한발명품,국민소득통계/진실과새빨간거짓말사이

에필로그
참고문헌

데이터지능은21세기형문해력이다!

불확실성의시대,어떻게해야올바른결정을내릴수있을까?우리는수많은갈림길에서그중하나를선택한다.고민하고추측하고결정한다.이때중요한것은직감이아니라데이터를바탕으로한검증된판단이다.신용평가정보를기반으로대출여부를결정하고,환자의검사수치로진단과처방을내리며,다양한경제지표를토대로통화정책을조정한다.이를비롯한모든과정에는불확실성을측정하고추론하는능력,데이터를읽고의심하고분석하는데이터지능이작동한다.데이터를반복적으로보고질문하며규칙을찾아야한다.데이터지능의중심에는통계적사고가있다.
눈에보이지않는질서의의미를해석하고,데이터를모아흐름을관찰하고,그속에서일정한패턴을찾으며,검증된패턴결과를바탕으로예측하고결정할때직관과규칙을넘어서는새로운전략과해석을도출해낼수있다.

분석을넘어세상을이해하고변화시키는힘
DataIntelligence

우리는매일수많은선택의갈림길에선다.아침에어떤커피를마실지,어떤옷을입을지같은사소한결정부터진로를바꾸거나인생의반려자를선택하는중대한결정까지.이모든선택은삶의궤적을형성하고,미래를조금씩바꿔나간다.하지만중요한선택일수록우리는늘불확실성의벽과마주하게된다.
“이게과연옳은선택일까?”,“나중에후회하지는않을까?”,“다른선택을했다면어땠을까?”우리는이질문들앞에서고민하고,망설이며,결국확실하지않은것을추측하며결정을내린다.이런추측은단순한직감만으로이루어지는것이아니다.우리는흔히데이터를바탕으로판단한다.
우리는눈에보이지않는질서와패턴을발견하고,그의미를해석하려는본능을지니고있다.이런패턴인식은자연현상에만국한되지않는다.인간의삶,건강,사회현상에도동일하게적용된다.예컨대어떤질병의근원을완전히알지못하더라도우리는누가병에걸리고누가그렇지않은지를비교해차이를측정하고,그속에서원인을유추해낸다.
오늘날의인공지능역시데이터를기반으로패턴을발견하고예측하는과정을자동화한것이다.신경망모형의작동방식은통계적사고와닮아있다.우리는데이터를보고,의심하고,반복적으로검토하면서판단한다.인공지능도그런과정을반복학습을통해수행한다.결국데이터지능은인간과기계가공유하게된새로운사고의기반이기도하다.

데이터를읽고,분석하고,예측하는힘
데이터지능이세상을변화시킨다

필자는통계학을배운후40여년동안데이터를통해세상을이해하고예측해왔다.1980년대후반한국은행에들어간뒤,통계패키지인SAS를활용해국가통계를전산화했고,거시경제예측모형을개발해서정책분석에활용했다.또한국민소득통계를작성했고,우리나라의실정에맞는계절조정방법을개발해다양한통계에적용했다.이후대학으로자리를옮겨서는빅데이터와인공지능시대에맞는교육과연구에힘써왔다.통계학의모든영역을경험하며데이터와함께사고하고성장해왔으며,《데이터지능》은그런경험을바탕으로데이터를통해세상을해석하는방법,다시말해데이터지능에대한생각들을정리한결과물이다.
이책은데이터를읽고,분석하고,예측하는힘,즉데이터지능을키우는방법을다룬다.그중심에는통계학과통계가있다.통계는세상을데이터로측정해서요약한결과다.1장부터6장까지는추측통계학을중심으로확률,표본,추정,검정,인과관계,모형등불확실성을다루는사고의기본원리를설명한다.7장과8장은통계와기술통계학을중심으로데이터를요약하고시각화해서정보를정리하고,세상을설득하고변화시키는방법을보여준다.
불확실성이일상이된시대,데이터를나침반삼아분석하고,이를넘어세상을이해하고변화시키는힘데이터지능이절실하다.이책이그길에동반자이자길잡이가되기를기대한다.