대격변 AI 시대, 데이터로 사고하고 데이터로 리드하라 (한 권으로 간추린 확률, 통계, 데이터과학, 머신러닝, AI 특강)

알렉스거트맨,조던골드마이어

저자:알렉스거트맨(AlexJ.Gutman)
데이터과학자,기업교육강사,공인전문통계학자(AccreditedProfessionalStatistician)이며풀브라이트전문가(FulbrightSpecialist)프로그램장학금을받았다.전문가와일반인을대상으로데이터과학에관한다양한주제를강연하고있다.공군기술대학원(AirForceInstituteofTechnology)에서응용수학박사학위를취득했고현재겸임교수로재직중이다.

저자:조던골드마이어(JordanGoldmeier)
국제공인데이터분석전문가이자데이터시각화전문가,작가,강사로활동중이다.전엑셀TV(Excel.TV)의최고운영책임자였고수년간데이터교육분야에서일해왔다.『고급엑셀기능(AdvancedExcelEssentials)』과『엑셀을이용한대시보드(DashboardsforExcel)』를저술했다.그의저작물은〈AP통신〉,〈블룸버그비즈니스위크〉,아메리칸익스프레스오픈포럼에인용됐다.현재6년넘게마이크로소프트엑셀MVP로활약하면서마이크로소프트제품팀에피드백을제공한다.엑셀을이용해6천만달러에달하는미공군예산을절감한적도있으며,자원봉사로응급구조대원일도한다.

역자:최재원
아주대학교,게이오대학교대학원을졸업했고현재대학에서교육및학습데이터분석가로활약하고있다.인간의내면과지식상태,학습동기를반영하는데이터에관심이많아교육분야데이터분석및연구에매진하고있다.현재는AI코스웨어,AI디지털교과서,개인맞춤형학습에초점을두고연구와프로젝트를병행하고있다.책을읽고쓰는일도좋아해서데이터분석,데이터시각화,시각디자인,게임디자인등의분야에관한책을번역하면서소설가로도활동하고있다.
번역한책으로는『디자인,이것만알면쉬워져요with63가지LESSON』(책만,2024),『핵심딥러닝입문:RNN,LSTM,GRU,VAE,GAN구현』(책만,2020),『데이터과학트레이닝북』(인사이트,2020),『IT개발자의영어필살기』(책만,2020),『대학혁신을위한빅데이터와학습분석』(시그마프레스,2019),『실체가손에잡히는딥러닝』(책만,2019),『데이터시각화,인지과학을만나다』(이하에이콘출판,2015),『유니티입문』(2012),『디지털게임교과서』(2012)가있으며,두권의소설『아무도모르는악당』(화이트웨이브,2021),제1회타임리프소설공모전당선작인『스테파네트아가씨를찾아헤맨나날들』(황금가지,2016)을썼고,전자책『VR,가까운미래』(리디북스,2016)를출간했다.

역자:장진욱
서울대학교대학원에서재료공학을전공했으며,미국의모토롤라/프리스케일반도체에서반도체패키징엔지니어로서커리어를시작했다.귀국후삼성전자및SK하이닉스에서반도체패키징생산및개발에참여했다.이후코리아인스트루먼트연구소에서반도체프로브카드개발을맡았으며현재는하나마이크론의연구소장으로서첨단패키징개발을이끌고있다.
재료공학전반및반도체패키징분야에서50여편의국제학술논문을저술했으며,20건이상의학회발표를수행했다.데이터의본질과분석에관심이많으며,현재담당하고있는기술업무인반도체패키징의생산및개발분야에어떻게하면더큰도움이될까를항상고민하고있다.

[1부]데이터로사고하고리드하기위한첫여정
1장무엇이문제일까
_데이터리드라면반드시물어야할질문들
___이문제는왜중요한가
___이문제는누구에게영향을미치는가
___적절한데이터가없을경우어떻게해야할까
___프로젝트는언제종료되는가
___결과가만족스럽지못할경우어떻게해야할까
_데이터프로젝트는왜실패했을까
___고객인식도
___생각해볼사항
_중요한문제에집중하자
_정리

2장데이터란무엇인가
_데이터vs정보
___데이터셋예시
_데이터유형
_데이터는어떻게수집되고정형화되는가
___관측데이터vs실험데이터
___정형데이터vs비정형데이터
_기본적인요약통계량
_정리

3장통계적사고를위한준비를갖추자
_질문을하자
_모든것에는변동성이있다
___고객인식도시나리오(후속편)
___사례연구:신장암발병률
_확률과통계
___확률vs직관
___통계학을활용한발견
_정리

[2부]데이터를대하는태도,확률과통계지식
4장데이터와논쟁하자
_여러분이라면어떻게했을까
___누락된데이터가초래한재앙
_데이터의근원을확인하자
___누가데이터를수집했는가
___데이터는어떤방식으로수집됐나
_데이터에대표성이있는가
___표본추출에편향이있었는가
___이상값을어떻게처리했는가
_확인하지않은데이터는무엇인가
___어떤방법으로결측값을처리했는가
___측정하려는개념을측정할수있는데이터인가
_크기를막론하고모든데이터와논쟁하자
_정리

5장데이터를탐색하자
_데이터리드의탐색적데이터분석
_탐색적사고의필요성
__어떤질문을해야할까
___가상시나리오
_데이터는여러분의질문에답할수있는가
___기대치를설정하고상식적으로생각하자
___직관적으로이해할수있는데이터값인가
___이상값과결측값을잘관리하라
_데이터에서어떤관계성이보이는가
___상관관계를이해하자
___상관관계를오해하지않도록주의하자
___상관관계가인과관계를의미하지는않는다
_데이터에서새로운탐색기회를찾았는가
_정리

6장확률이란무엇인가
_추측해보자
_게임의법칙
___수학적표기
___조건부확률과독립사건
___여러사건의발생확률
___동시에발생하는두사건
_확률에대한사고실험
___확률에대한3가지체크포인트
_사건들이서로독립이라가정할때는주의해야한다
___도박꾼의오류에빠지지말자
_모든확률은조건부확률임을인지하자
___의존관계를바꾸지말자
___베이즈정리
_의미가있는확률인지를반드시확인한다
___보정
___가능성이희박해도사건은일어난다
_정리

7장통계에도전하자
_통계적추론이란
___오차의여지를남기자
___데이터가많아질수록증거도늘어난다
___현재상황에의문을제기하자
___현상황에반하는증거가있는가
___판단오류균형잡기
_통계적추론과정
_통계분석결과를검증하기위해필요한질문
___어떤맥락에서나온통계분석결과인가
___표본의크기는얼마인가
___무엇을검증하는가
___귀무가설은무엇인가
___유의수준은얼마인가
___얼마나많이검증했는가
___신뢰구간을제시할수있는가
___실제적으로의미있는결과인가
___인과관계를가정하고있는가
_정리

[3부]다양한사례로다시배우는머신러닝,딥러닝,AI지식
8장데이터에감춰진패턴과그룹을찾는머신러닝
_비지도학습이란
_차원축소
___복합변수만들기
_주성분분석
___운동능력데이터의주성분
___주성분분석요약
___주의해야할함정
_군집분석
_k-평균군집분석
___소매점군집분석
___주의해야할함정
_정리

9장미래를예측하고현상을설명하는회귀모델
_지도학습
_선형회귀는무슨일을할까
___최소제곱회귀(단순히이름만기발한것은아니다)
_선형회귀에서알수있는것
___더많은변수를투입할때
_선형회귀가야기하는혼란
___누락된변수들
___다중공선성
___데이터누수
___외삽오류
___대부분의관계는선형적이지않다
___설명할것인가,예측할것인가
___회귀모델의성능
_그밖의회귀모델
_정리

10장판단의기준을파악할수있는분류모델
_분류문제란무엇일까
___분류모델의3가지방법
___분류문제설정
_로지스틱회귀
___로지스틱회귀의장점
_의사결정나무
_앙상블모델
___랜덤포레스트
___그래디언트부스트트리
___앙상블모델의설명력
_흔히빠지기쉬운함정에주의하자
___데이터유형에맞지않는모델적용
___데이터누수
___모델구축과테스트를위한데이터셋분할
___의사결정을위한적절한임곗값선택
_정확도에대한오해
___혼동행렬
_정리

11장글속에담긴주제와감성을찾아내는텍스트분석
_텍스트분석에대한기대
_텍스트를숫자로바꾸는방법
___단어가방
___N그램
___단어임베딩
_토픽모델링
_텍스트분류
___나이브베이즈
___감성분석
_텍스트분석에서고려해야할실용적인문제
___빅테크기업의기술적우위
_정리

12장데이터리드라면알아야할딥러닝과AI
_신경망모델
___신경망은어떤면에서사람의뇌와비슷할까
___간단한신경망모델
___신경망이학습하는방법
___조금더복잡한신경망
_딥러닝응용사례
___딥러닝의장점
___컴퓨터가이미지를‘보는’방법
___합성곱신경망
___언어처리와순차데이터에활용되는딥러닝
_딥러닝의실제활용현황
___데이터는충분한가?
___데이터가구조화되어있는가
___신경망은어떤모습일까
_AI를대하는관점
___빅테크기업의유리한위치
___딥러닝의윤리적문제
_정리

[4부]프로젝트와조직의성공을위해데이터리드가할일
13장호시탐탐곳곳에도사린실패와함정
_데이터의편향과기묘한현상
___생존편향
___평균으로의회귀
___심슨의역설
___확증편향
___매몰비용오류
___알고리즘편향
___그밖의편향
_데이터프로젝트의대표적인함정
___통계와머신러닝함정
___프로젝트함정
_정리

14장조직구성원의다양한성향을파악하자
_의사소통이중단되는7가지상황
___사후약방문
___알맹이없는발표
___부정확한정보의확산
___수렁속으로
___리얼리티체크
___권력장악
___허풍쟁이..
_데이터를대하는사람들의3가지태도
___데이터맹신자
___데이터비관론자
___데이터리드
_정리

15장더높은곳을향해

|이책에서다루는내용|
-통계적사고를위해데이터를대하는태도와소양
-일상생활과의사결정과정에서영향을미치는변동성
-현업에서통계와분석결과에대해적절한의견을제시할수있는데이터리터러시역량
-머신러닝,텍스트분석,딥러닝,AI의이면에숨은기본원리와지식
-데이터를분석하고해석할때빠지기쉬운함정
-프로젝트와조직의성공을위해데이터리드가해야할일

|이책의대상독자|
초보데이터과학자,데이터분석가,비즈니스전문가,AI/머신러닝엔지니어,기업경영진등누구나재미있게읽고지식을쌓을수있는책이다.특히,데이터분석가와함께일해야하는마케팅전문가,아직데이터에대해잘모르는개발자,직장인이나연구자,AI기술을새로운도입과의사결정을위해데이터에관해좀더깊이있는지식이필요한C레벨임원,데이터팀이나조직을이끌어야하는관리자라면더욱필요할것이다.데이터분야에서종사하고싶거나데이터리드로성장하고싶은모두가읽어야하는책이다.

|이책의구성|
1부,데이터로사고하고리드하기위한첫여정
1부에서는데이터리드의관점으로생각하는방법을다룬다.조직에서수행하는데이터프로젝트를비판적으로검토하고적절한질문을제기하는방법을배운다.데이터의정의,올바른용어사용,통계적관점으로세상을바라보는방법을살펴볼것이다.

2부,데이터를대하는태도,확률과통계지식
데이터리드는데이터에관한중요한토론에적극적으로참여한다.2부에서는데이터와논쟁하는방법과업무에서접하는통계적개념을이해하기위해필요한질문이무엇인지살펴본다.데이터분석결과를이해하거나문제를제기하기위해필요한기초적인통계와확률개념을배울것이다.

3부,다양한사례로다시배우는머신러닝,딥러닝,AI지식
데이터리드는통계적모델과머신러닝모델이작동하는기본원리를이해해야한다.비지도학습,회귀,분류,텍스트분석,딥러닝에대해직관적으로이해할수있게될것이다.

4부,프로젝트와조직의성공을위해데이터리드가할일
데이터리드는데이터관련업무를수행할때흔히저지르는실수나빠지기쉬운함정이무엇인지를알고있어야한다.조직과프로젝트를실패로이끄는기술적인함정에대해살펴보고,데이터프로젝트에참여하는사람들과그들의성향을알아본다.마지막으로,데이터리드로성공하기위한방향을제시할것이다.

|추천사이어서|
저자들은불필요한내용을걷어내고복잡한데이터와통계개념을쉬운예제와적절한비유로풀어설명한다.이책덕분에나는팀에필요한데이터와정보를조직에적합한실질적인비즈니스요구사항으로전환할수있었다.비즈니스기회를얻고데이터팀을성장시키고싶다면꼭읽어보길추천한다.
-저스틴모러(JustinMaurer)/구글의데이터과학및엔지니어링팀관리자

15년경력의항공우주엔지니어인나는이책을읽고난후데이터과학에대한기초지식은물론이고데이터기반업무환경을조성하기위한전문지식도알게됐다.이책에서는AI등자주남용되는용어를적절히걸러서받아들이는방법도알려준다.데이터과학이라는피할수없는미래를탐색해보려는중간관리자가있다면반드시읽어야할책이다.
-조시키너(JoshKeener)/항공우주엔지니어,프로그램매니저

데이터과학을잘이해하고싶은고위경영진에게딱들어맞는필독서다.
-케이드사이에(CadeSaie)박사/최고데이터책임자(CDO)

저자들은독자들에게올바른질문을제기하고통계적가설을검토하며실수를피하는방법에관해실용적인조언을건넨다.데이터과학에대해빠짐없이설명하면서도방대한내용속에서길을잃지않도록균형을잘잡아준다.분석가,데이터과학자,관리자,경영진,그리고데이터과학을더깊이이해하려는모든사람에게또하나의유용한도구가될것이다.
-제프비알락(JeffBialac)/크로거(Kroger)의수석공급망분석가

저자들은응용통계학자와데이터과학자,심지어고위경영진과기술전문가모두에게유용한책을내놓았다.복잡한통계개념을이해하기쉽게풀어설명하며,데이터업무와비즈니스가치사이에오래된간극을이어주는공통의언어를창조했다.
-캐슬린메일리(KathleenMaley)/데이터줌(datazuum)의최고분석책임자

[옮긴이의말]
지금껏나는많은데이터관련책을읽고,공부하고,때로는번역서를출간하기도했는데,이책은번역서가아니라내가집필한책이라면정말좋았겠다는욕심이날만큼대단한물건이었다.처음원서를받고장제목위주로쑥내용을훑어보았을때는‘내용이너무쉬운거아닌가?’하는생각이들었지만번역을위해본격적으로한문장씩내용을음미하며읽어나가기시작한순간부터마지막장이끝날때까지,저자들이설정한책의기획의도에맞게저술하기위해들인노력,그리고데이터분석과통계에관한그들의깊은내공에감탄을멈출수없었다.
흔히“쉽게쓰는것이가장어렵다”고들말한다.그동안이말에대해이성적으로는동의하고있었지만정확한사례를경험한적은거의없었는데,이책을읽고나서야저말의진정한표본을만났다고느꼈다.‘쉽게쓸수있다’는것은글쓴이가관련내용의핵심과논리를완벽하게꿰뚫고있다는의미며그럼으로써쉬우면서도명쾌하고논리적인글이나올수있다.
이책은어려울수도있는데이터분석과통계에대해딱필요한만큼의깊이와범위를다룬다.이분야를전공으로삼으려는사람들에게입문서로도좋지만,기술적인분야에대해너무깊이알필요는없지만데이터분석가와의사소통이가능한수준까지는관련지식을쌓고싶은일반인들에게는정말도움이될것같다.일반교양서와본격적인기술서사이의경계선에서절묘하게줄타기를하는무척신기한책이다.
특히요즘처럼AI가급속도로대중화되고있는시대야말로,AI를동작시키는원료인데이터의‘본질’에집중할필요가있다.오늘날AI에대해설명하는수많은책과글이넘쳐나지만AI를가장정확하게이해하는길은‘데이터에기반한통계적사고’가어떻게AI까지진화했는지그흐름을쫓아가보는것이다.그런면에서이책은AI시대를살아가는일반대중에게첫교과서와같은역할을할수있지않을까기대한다.
책내용중기술적인부분은내가이미잘알고있는분야이기도하고너무깊이다루지는않기때문에저자들이원서에서주장하는내용과메시지를쉽게이해할수있었지만문제는한글로번역하는과정이었다.하나의문장과하나의단락에서다루는내용이밀도가높고의미가압축되어있어문장자체는쉽지만원서의정확한의미와미묘한뉘앙스를한글문장으로바꾸기위해서많은고민과시간이필요했다.유행이지난말이긴하지만
정말‘한땀한땀’시간과공을들여번역해나갈수밖에없었다.
고백하건대,지금껏나는교양서와기술서사이에서정확하게균형을잡는좋은책을직접쓰고싶다는열망이가득했다.하지만이책을번역하는과정에서이미그런책이출간되어있었다는실망감과함께,한편으로는이렇게좋은책을발견해번역을맡게되었다는기쁨을동시에느낄수있었다.그만큼훌륭한책이며많은분에게자신있게추천할수있는책이다.
-최재원

수십년간재료공학도로살아오면서나는학위과정까지여러재료공학적현상을연구하고분석하기바빴다.학위취득후반도체업계에서일하기시작했을때,그간다루던재료공학적관점이외에여러가지품질관리기법및신뢰성분석을위한모델해석등통계적개념을접하게됐다.기업에는제품의품질과수명을개선해이윤을남겨야하는숙명이있기에필수불가결한것이었다.
하지만여전히머리를맴도는생각이있었다.재료공학에서다루는현상들을완벽히이해한다면,이러한통계적접근은최소화할수있을뿐만아니라어쩌면필요하지도않을것같았다.지금돌이켜보면,그보다는아마도통계적접근과응용을아예외면하고싶었던것은아니었을까한다.내가그간집중해왔던재료공학을비롯한과학이나공학의대부분은,원인과결과를명확히밝히는인과관계의탐구과정이었다.그러던중AI시대가도래하고반도체를포함한모든분야에응용되기시작했다.이에나는통계분야의고전적인데이터개념과AI에서다루는데이터가도대체무엇이다른건지궁금해질수밖에없었다.이러한막연한호기심에수많은논문과책을뒤지고,인터넷의바다도헤매고다녔었다.
나같은일반연구자들을위해코딩이나복잡한통계수식없이,장밋빛미래만이야기하지는않으며,핵심만콕짚어주는‘흙속의진주’같은책이혹시있지않을까?나와비슷한궁금증을지닌사람들을위해책을집필한저자들이있을까?실로,이인연은존재했다!바로이책의원서『BecomingaDataHead』였다.어렵사리찾아낸이진주는영어책이었지만어찌나재미있게읽히던지그느낌이지금도생생하다.이책의저자들은내가궁금해했던모든것을사랑방에서이야기하듯술술풀어나가는이야기꾼이었고,책을읽다보니통계와데이터에대한수십년묵은근본적의문이일거에해결되는느낌이었다.
기술적난제를비롯한삼라만상중인과관계를정확히알수있는것이대체몇개나되겠는가?그렇기때문에통계에서출발해딥러닝과AI가열어준데이터의세계에대한이해가필요한것이었다.이책의또하나놀라운점은일반엔지니어나연구자뿐아니라,기업경영자나관리자가기업의비즈니스성공을위해데이터를어떻게바라보고활용해야하는지까지여러비유를들어다양하게비춰주고있다는점이다.
아무쪼록여러분야의독자들이이책이가져다줄데이터에대한깨달음의기쁨이함께하길빌며이글을마치고자한다.
-장진욱