데이터 애널리틱스 (예제로 배우는 모델링 기법, 데이터 분석, 모델 구축 과정)

이재식

*서울대학교경영대학경영학과경영학사
*한국과학기술원(KAIST)산업공학과공학석사
*미국펜실베이니아대학교와튼스쿨(WhartonSchool)경영정보시스템전공경영학박사
*아주대학교경영대학교수

*한국전문가시스템학회학회지편집위원장
*교육부BrainKorea21사업‘데이터마이닝연구팀’책임교수
*한국지능정보시스템학회회장
*정보통신부‘유비쿼터스환경에서의데이터마이닝기술개발연구팀’책임교수
*한국지능정보시스템학회지1995~2014피인용논문대상수상

[01부]기본개념

▣01장:서론
1.인공지능,머신러닝,딥러닝
2.데이터사이언스와데이터애널리틱스
3.데이터마이닝과데이터애널리틱스
4.이책의구성
5.참고문헌

▣02장:데이터마이닝
1.데이터,정보,지식
2.데이터의속성
____2.1범주형속성
____2.2수치형속성
____2.3기타속성
3.데이터마이닝의탄생
4.데이터마이닝의정의
____4.1비즈니스프로세스
____4.2대량의데이터
____4.3의미있는패턴과규칙
5.데이터마이닝의유형
____5.1가설검정
____5.2방향성데이터마이닝
____5.3무방향성데이터마이닝
6.데이터마이닝의단계
____6.1KDD2.0
____6.2CRISP-DM
____6.3두방법론의비교
7.참고문헌

▣03장:머신러닝
1.문제를푸는방법
2.머신러닝의정의
3.머신러닝의유형
____3.1지도학습
____3.2비지도학습
____3.3준지도학습
____3.4강화학습
4.머신러닝의기법들
____4.1지도학습기법
____4.2비지도학습기법
____4.3준지도학습기법
____4.4강화학습기법
5.참고문헌

▣04장:모델구축
1.모델의정의
2.모델의구축과정
____2.1훈련데이터집합의용도
____2.2과대적합의발생
____2.3검증데이터집합의용도
____2.4테스트데이터집합의용도
____2.5스코어데이터집합의용도
3.편향되지않은모델의구축
____3.1반복적무작위서브샘플링검증방법
____3.2K-폴드교차검증방법
____3.3단일관측값제거교차검증방법
____3.4부트스트랩방법
4.모델의평가
____4.1회귀평가척도
____4.2분류평가척도
5.편향과편차간의상충관계
____5.1훈련데이터집합의평균으로만든모델
____5.2선형회귀모델
____5.32차다항회귀모델
____5.46차다항회귀모델
____5.5네개모델의비교
6.과대적합의방지또는제거
____6.1속성선정
____6.2균등화
____6.3조기종료
____6.4드롭아웃과배치정규화
____6.5가지치기
____6.6앙상블방법
7.모델데이터집합
____7.1모델데이터집합의크기와밀도
____7.2오버샘플링
____7.3결측값
8.모델의비교및선정
____8.1ROC곡선의비교
____8.2통계적검정에의한비교
9.앙상블방법에의한모델의성능향상
____9.1앙상블방법
____9.2배깅방법
____9.3부스팅방법
10.참고문헌

[02부]통계학기반기법

▣05장:회귀분석
1.회귀분석
2.단순회귀분석
____2.1베타햇값구하기:최소자승법
____2.2결정계수R2
____2.3단순회귀분석의예제
3.다중회귀분석
____3.1다중회귀분석의예제
____3.2단계별회귀분석
____3.3조정된결정계수
4.다중회귀분석을이용한자동차연비추정
____4.1A_Model:모든변수를사용한모델
____4.2F_Model:전방향선택으로선택한변수를사용한모델
____4.3B_Model:역방향제거로선택한변수를사용한모델
____4.4S_Model:양방향선택과제거로선택한변수를사용한모델
____4.5P_Model:Pr(〉|t|)가유의한변수를사용한모델
____4.6최종모델의선정
5.참고문헌

▣06장:로지스틱회귀분석
1.로지스틱회귀분석
2.이진형문제의선형회귀모델
3.이진형문제의로지스틱회귀모델
4.로지스틱회귀분석을이용한잡지구독예측
____4.1A_loModel:모든변수를사용한모델
____4.2S_loModel:양방향선택과제거로선택한변수를사용한모델
____4.3P_loModel:Pr(〉|z|)가유의한변수를사용한모델
____4.4최종모델의선정
5.참고문헌

▣07장:선형판별분석
1.선형판별분석
2.선형판별분석방법
____2.1중심과의거리를이용하는방법
____2.2회귀를이용하는방법
____2.3피셔의선형판별방법
3.선형판별분석을이용한대출결정
4.참고문헌

▣08장:베이즈분류기
1.베이즈분류기
2.베이즈정리
3.베이즈분류기의이해
4.베이즈분류기의예제
____4.1수치형변수가없는경우:예제8.1
____4.2구매여부개수가0일경우
____4.3수치형변수가있는경우:예제8.2
5.베이즈분류기를이용한스팸메일판정
6.참고문헌

[03부]머신러닝기반기법

▣09장:군집분석
1.군집분석
2.군집의의미
3.근접성
____3.1수치형속성
____3.2범주형속성
____3.3군집간의거리측정
4.클러스터링결과의평가척도
5.클러스터링을위한데이터준비
____5.1속성값조정
____5.2가중치부여
6.계층적클러스터링:예제9.1
____6.1병합적클러스터링
____6.2분할적클러스터링
____6.3클러스터링결과의평가
7.K-평균클러스터링
____7.1K-평균클러스터링의단계
____7.2K-평균클러스터링:예제9.2
____7.3초기무작위중심의선택
____7.4K값의설정
8.K-평균클러스터링을이용한피교육자군집분석
9.참고문헌

▣10장:연관분석
1.연관분석
2.연관규칙
3.연관규칙의도출과정
____3.1아이템의상세화수준결정
____3.2거래데이터로부터아이템집합생성
____3.3아이템집합이판매된거래건수와확률산출
____3.4아이템집합가지치기
____3.5연관규칙생성
____3.6생성된연관규칙평가
4.연관규칙도출연습
5.연관분석을이용한시장바구니분석
6.순차패턴분석
7.유용한순차패턴의발견
8.순차패턴분석을이용한제품구매순서분석
9.참고문헌

▣11장:의사결정트리
1.의사결정트리
2.의사결정트리의용도
____2.1분류
____2.2점수부여
____2.3추산
3.의사결정트리의형태
4.의사결정트리의구축
____4.1기본과정
____4.2분지
____4.3의사결정트리의구축단계
____4.4의사결정트리의평가
____4.5의사결정트리에서규칙의추출
5.최상분지속성의선정
____5.1분지속성선정의중요성
____5.2최상분지속성의선정기준
____5.3최상분지속성의선정과정
6.의사결정트리구축과정의예제
____6.1엔트로피분지방법
____6.2지니분지방법
7.의사결정트리의가지치기
____7.1가지치기의필요성
____7.2오류감소가지치기
8.의사결정트리를이용한개인신용평가
9.참고문헌

▣12장:랜덤포레스트
1.랜덤트리
2.랜덤포레스트
3.랜덤포레스트를이용한고객이탈예측
4.참고문헌

▣13장:새로운회귀분석기법들
1.균등화된회귀분석
____1.1균등화
____1.2균등화된회귀분석의유형
____1.3엑셀을사용한균등화된회귀분석
2.균등화된회귀분석을이용한자동차연비추정
3.베타햇값구하기:기울기하강법
4.기울기하강법을이용한회귀모델구축
____4.1R을사용한기울기하강법
____4.2텐서플로를사용한기울기하강법
5.참고문헌

▣14장:서포트벡터머신
1.서포트벡터머신
2.서포트벡터머신의이해
3.서포트벡터머신의최적화문제수식화
4.엑셀을사용한서포트벡터머신:예제14.1
5.선형분리불가능문제:여유변수의도입
____5.1여유변수를도입한SVM의최적화문제수식
____5.2엑셀을사용한SVM:예제14.2
____5.3균등화파라미터
6.선형분리불가능문제:커널트릭의사용
____6.1엑셀을사용한SVM:예제14.3
____6.2커널함수
____6.3엑셀을사용한SVM:예제14.4
7.서포트벡터머신을이용한유방암판정
8.참고문헌

▣15장:인공신경망
1.인공신경망
2.인공신경망의구성
____2.1처리요소
____2.2처리요소의입력과출력
____2.3처리요소의결합과계층의결합
____2.4가중치와활성함수
____2.5학습기능
3.역전파알고리즘
____3.1전방향단계
____3.2역방향단계
____3.3역전파알고리즘의과정:예제15.1
____3.4가중치수정의빈도
4.활성함수
5.비선형분류
6.XOR문제를푸는인공신경망:예제15.2
7.범주형속성의인코딩
____7.1N개-중-1개인코딩
____7.2N개-중-M개인코딩
____7.3온도계인코딩
8.인공신경망을이용한심장질환판정
9.참고문헌

▣16장:딥러닝
1.딥러닝의개요
____1.1기울기소실현상
____1.2기울기소실현상의극복
____1.3과대적합의방지
2.심층신경망
____2.1심층신경망을이용한동물유형판정
3.합성곱신경망
____3.1합성곱계층
____3.2풀링계층
____3.3합성곱신경망의차원계산
____3.4합성곱신경망을이용한필기체숫자판독
4.순환신경망
____4.1순환신경망구조의유형
____4.2초기순환신경망모델의단점극복
____4.3순환신경망을