따라 하며 배우는 데이터 과학

권재명

저자권재명은데이터분석이취미이자직업인통계학자출신의실리콘밸리데이터과학자.1972년에서울에서태어났다.어려서부터컴퓨터를좋아해서전산학을공부하고자서울대학교계산통계학과에입학했다(1990년).하지만대학2학년때들은통계수업에매료되어통계를전공하기로결심하여서울대통계학학사(1994년),석사(1996년)를거쳐버클리대학교(UCBerkeley)에서박사(2000년)학위를받았다.졸업후같은대학에서교통데이터분석연구원으로활동했고,이후이스트베이캘리포니아주립대학교(CalStateEastBay)에서통계학과조교수를지냈다.2009년부터지금까지실리콘밸리의인터넷,테크기업에서데이터과학자로,그리고분석팀리더로활동중이다.

1장데이터과학이란?_1
1.1데이터과학의정의1
1.2데이터과학프로세스8
1.3데이터과학자가갖춰야할능력11

2장데이터분석환경구성하기_15
2.1데이터과학의연장,컴퓨터,기타도구들15
2.2R설치와팁18
2.3R스튜디오설치와팁18
2.4R라이브러리설치20
2.5파이썬24
2.6서브라임텍스트26
2.7깃버전관리소프트웨어와깃허브26
2.8유닉스활용하기28
2.9구글독스/스프레드시트/슬라이드31

3장데이터취득과데이터가공:SQL과dplyr_33
3.1데이터취득과데이터가공이란무엇이며,왜중요한가?33
3.2데이터취득34
3.3데이터출력44
3.4데이터가공44
3.5데이터가공을위한도구46
3.6R의dplyr패키지51

4장데이터시각화I:ggplot2_63
4.1시각화의중요성63
4.2베이스R그래픽과ggplot269
4.3변수의종류에따른시각화기법74
4.4시각화과정의몇가지유용한원칙87

5장코딩스타일_91
5.1스타일가이드와협업91
5.2R코딩스타일94
5.3파이썬스타일가이드와도구98
5.4SQL코딩스타일100
5.5코딩스타일이외의베스트프랙티스100

6반통계의기본개념복습_102
6.1통계,올바른분석을위한틀102
6.2첫째,통계학은숨겨진진실을추구한다105
6.3둘째,통계학은불확실성을인정한다107
6.4셋째,통계학은관측된데이터가가능한여러값중하나라고생각한다107
6.5스튜던트t-분포와t-검정이란?111
6.6P-값을이해하면통계가보인다113
6.7P-값의오해와남용114
6.8신뢰구간의의미119
6.9넷째,통계학은어렵다122
6.10모집단,모수,표본123
6.11모수추정의정확도는sqrt(n)에비례한다126
6.12모든모형은틀리지만일부는쓸모가있다128
6.13이장을마치며129

7장데이터종류에따른분석기법_131
7.1데이터형,분석기법,R함수131
7.2모든데이터에행해야할분석133
7.3수량형변수의분석134
7.4성공-실패값범주형변수의분석138
7.5설명변수와반응변수142
7.6수량형X,수량형Y의분석142
7.7범주형x,수량형y154
7.8수량형x,범주형y(성공-실패)159
7.9더복잡한데이터의분석,머신러닝,데이터마이닝167

8장빅데이터분류분석I:기본개념과로지스틱모형_170
8.1분류분석이란?170
8.2환경준비179
8.3분류분석예제:중산층여부예측하기180
8.4훈련,검증,테스트세트의구분185
8.5시각화186
8.6로지스틱회귀분석188
8.7이장을마치며195

9장빅데이터분류분석II:라쏘와랜덤포레스트_197
9.1glmnet함수를통한라쏘모형,능형회귀,변수선택197
9.2나무모형205
9.3랜덤포레스트209
9.4부스팅214
9.5모형비교,최종모형선택,일반화능력평가218
9.6우리가다루지않은것들220

10장빅데이터분류분석III:암예측_225
10.1위스콘신유방암데이터225
10.2환경준비와기초분석226
10.3데이터의시각화229
10.4훈련,검증,테스트세트의구분231
10.5로지스틱회귀분석232
10.6라쏘모형적합234
10.7나무모형236
10.8랜덤포레스트238
10.9부스팅239
10.10최종모형선택과테스트세트오차계산240

11장빅데이터분류분석IV:스팸메일예측_244
11.1스팸메일데이터244
11.2환경준비와기초분석247
11.3데이터의시각화250
11.4훈련,검증,테스트세트의구분254
11.5로지스틱회귀분석255
11.6라쏘모형적합258
11.7나무모형260
11.8랜덤포레스트262
11.9부스팅263
11.10최종모형선택과테스트세트오차계산264

12장분석결과정리와공유,R마크다운_268
12.1의미있는분석과시각화268
12.2분석의타당성271
12.3보고서작성과구성272
12.4분석결과의공유275
12.5R마크다운278

13장빅데이터회귀분석I:부동산가격예측_281
13.1회귀분석이란?281
13.2회귀분석예제:부동산가격예측283
13.3환경준비와기초분석284
13.4훈련,검증,테스트세트의구분286
13.5선형회귀모형286
13.6라쏘모형적합291
13.7나무모형293
13.8랜덤포레스트295
13.9부스팅296
13.10최종모형선택과테스트세트오차계산297

14장빅데이터회귀분석II:와인품질예측_300
14.1와인품질데이터소개300
14.2환경준비와기초분석301
14.3데이터의시각화302
14.4훈련,검증,테스트세트의구분304
14.5선형회귀모형305
14.6라쏘모형적합309
14.7나무모형311
14.8랜덤포레스트313
14.9부스팅314
14.10최종모형선택과테스트세트오차계산315

15장데이터시각화II:단어구름을사용한텍스트데이터의시각화_318
15.1제퍼디!질문데이터318
15.2자연어처리와텍스트마이닝환경준비320
15.3단어구름그리기320
15.4자연어처리예323
15.5고급텍스트마이닝을향하여323
15.6한국어자연어처리324

16장실리콘밸리에서데이터과학자되기_326
16.1데이터과학자에게요구되는자질들326
16.2데이터과학자고용과정327
16.3인터뷰준비329
16.4행동질문과상황질문330
16.5취업의패러독스332

찾아보기334

가장빠르게,가장제대로배우는데이터과학입문서!

이책은‘실무’에초점을맞춘데이터사이언스‘입문서’다.다양한배경을가진독자들이가장짧은시간에기본적인데이터사이언스분석을시작할수있도록하였다.'가장짧은시간'에배워야하므로필수적이지않은내용은과감히생략하고,설명은최대한간략히하려고노력하였다.또한,‘다양한배경’을가진독자들을위해통계나컴퓨터전공지식이없더라도읽을수있도록하였으나,통계의핵심인기초통계와선형모형(회귀분석과분산분석포함)은반드시제대로배울것을권장한다.‘기본적인’데이터분석은텍스트자료,그래프모형,시계열분석,공간자료분석등개별적인자료형태보다는다양한분석에공통적으로적용되는방법들을다룬다.

이책은대학이나학원의강의교재혹은자습서로사용할수도있다.강의교재로는학부및대학원수준의데이터과학,통계학,자료분석등의강의에주교재혹은부교재로사용할수있다.몇주간의단기과정에서일부장만을다루어도좋다.R과유닉스코드예를따라하고,각장끝의연습문제를반드시풀어보도록하자.

이책의대상독자
ㆍ‘데이터사이언스입문’수업을듣는학원생,학부생및대학원생
ㆍ데이터분석업무를하고자하는관련분야엔지니어
ㆍ데이터과학팀을구축하고자하는관련분야매니저