의사결정을 위한 데이터 과학 (데이터 과학 총론)

루이즈 파울로 파베로

Luiz Paulo Favero
상파울루대학교(FEAUSP 및 EPUSP) 폴리테크닉 스쿨의 경제학, 경영학, 회계 대학의 정교수이며 데이터 과학, 데이터 분석, 다변량 모델링, 머신러닝과 딥러닝을 가르치고 있다. 뉴욕의 콜롬비아대학교에서 데이터 분석과 계량 경제학 박사 후 학위를 받았으며, FEA/USP의 종신 교수다(양적 모델링에 더 중점을 두고 있음). USP 폴리테크닉 스쿨에서 공학 학위를 받고, Getulio Vargas Foundation(FGV/SP)에서 경영학 석사 학위를 받은 다음 FEA/USP에서 조직 경제학에 적용되는 데이터 과학 및 정량적 방법으로 석사 및 박사 학위를 받았다. 상파울루연방대학교(UNIFESP), Dom Cabral Foundation, Getulio Vargas Foundation, FIA, FIPE, MONTVERO의 객원 교수다. 9권의 책을 저술했으며, IJMDA(International Journal of Multivariate Data Analysis)의 창립자이자 전 편집장이다. 라틴 아메리카 데이터 과학 아카데미(Latin American Academy of Data Science)의 회원이자 창립자이기도 하다. R, 파이썬, SAS, Stata, IBM SPSS 같은 데이터 분석, 머신러닝/딥러닝, 빅데이터, 플랫폼을 사용해 소매, 산업, 광업, 은행, 보험, 의료 등의 분야에서 컨설턴트로 일하고 있다.

1부. 비즈니스 데이터 분석 기초

1장. 데이터 분석과 의사결정 소개
1.1 소개: 데이터, 정보, 지식 간의 계층구조
1.2 책의 개요
1.3 맺음말
1.4 독자 의견

2장. 변수 형식과 측정 그리고 정확도 척도
2.1 소개
2.2 변수의 형식
2.2.1 비계량 또는 정성 변수
2.2.2 계량 또는 정량 변수
2.3 변수 형식 × 측정 척도
2.3.1 비계량 변수: 명목 척도
2.3.2 비계량 변수: 서열 척도
2.3.3 정량 변수: 구간 척도
2.3.4 정량 변수: 비율 척도
2.4 변수의 형식 × 범주의 개수와 정확성의 척도
2.4.1 이분 또는 이진 변수(더미)
2.4.2 다진 변수
2.4.3 이산 정량 변수
2.4.4 연속 정량 변수
2.5 맺음말
2.6 연습문제

2부. 기술 통계량

3장. 일변량 기술 통계량
3.1 소개
3.2 빈도 분포표
3.2.1 정성 변수의 빈도 분포표
3.2.2 이산 데이터에 대한 빈도 분포표
3.2.3 부류로 그룹화된 연속 데이터의 빈도 분포표
3.3 결과의 그래프 표현
3.3.1 정성 변수의 그래프 표현
3.3.2 정량 변수의 그래프 표현
3.4 일변량 기술 통계량에서 가장 보편적인 요약 측도
3.4.1 위치나 장소의 측도
3.4.2 산포나 변동성의 측도
3.4.3 형태 측도
3.5 실제 엑셀 예제
3.6 SPSS를 사용한 실제 사례
3.6.1 빈도 옵션
3.6.2 기술 통계 옵션
3.6.3 데이터 탐색 옵션
3.7 Stata를 사용한 실제 사례
3.7.1 Stata로 일변량 빈도 분포표 구하기
3.7.2 Stata의 일변량 기술 통계량 요약
3.7.3 Stata의 백분위 계산
3.7.4 Stata의 차트: 히스토그램, 줄기-잎, 상자 도표
3.8 맺음말
3.9 연습문제

4장. 이변량 기술 통계량
4.1 소개
4.2 두 정성 변수 간의 연계성
4.2.1 결합 빈도 분포표
4.2.2 연계성 측도
4.3 두 정량 변수 간의 상관관계
4.3.1 결합 빈도 분포표
4.3.2 산포도를 통한 그래픽 표현
4.3.3 상관관계 측도
4.4 맺음말
4.5 연습문제

3부 확률 통계

5장. 확률 개론
5.1 소개
5.2 용어와 개념
5.2.1 확률 실험
5.2.2 표본 공간
5.2.3 사건
5.2.4 합집합, 교집합, 여집합
5.2.5 독립 사건
5.2.6 배반 사건
5.3 확률의 정의
5.4 기초 확률 법칙
5.4.1 확률 변동장
5.4.2 표본 공간의 확률
5.4.3 공집합의 확률
5.4.4 확률의 덧셈 법칙
5.4.5 여사건의 확률
5.4.6 개별 확률에 대한 확률 곱의 법칙
5.5 조건부 확률
5.5.1 확률 곱셈 법칙
5.6 베이즈 정리
5.7 조합론
5.7.1 배열
5.7.2 조합
5.7.3 순열
5.8 맺음말
5.9 연습문제

6장. 확률 변수와 확률 분포
6.1 소개6.2 확률 변수
6.2.1 이산 확률 변수
6.2.2 연속 확률 변수
6.3 이산 확률 변수의 확률 분포
6.3.1 이산 균등 분포
6.3.2 베르누이 분포
6.3.3 이항 분포
6.3.4 기하 분포
6.3.5 음이항 분포
6.3.6 초기하 분포
6.3.7 푸아송 분포
6.4 연속 확률 변수의 확률 분포
6.4.1 균등 분포
6.4.2 정규 분포
6.4.3 지수 분포
6.4.4 감마 분포
6.4.5 카이제곱 분포
6.4.6 스튜던트 t 분포
6.4.7 스네데커의 F 분포
6.5 맺음말
6.6 연습문제

4부. 통계적 추론

7장. 표본추출
7.1 소개
7.2 확률 또는 무작위 표본추출
7.2.1 단순 무작위 표본추출
7.2.2 체계적 표본추출
7.2.3 층화 표본추출
7.2.4 클러스터 표본추출
7.3 비확률 또는 비무작위 표본추출
7.3.1 편의 표본추출
7.3.2 판단 또는 유의 표본추출
7.3.3 할당 표본추출
7.3.4 기하 전파 또는 스노우볼 표본추출
7.4 표본 크기
7.4.1 단순 무작위 표본의 크기
7.4.2 체계적 표본의 크기
7.4.3 층화 표본의 크기
7.4.4 클러스터 표본의 크기
7.5 맺음말
7.6 연습문제

8장. 추정
8.1 소개
8.2 점과 구간 추정
8.2.1 점 추정
8.2.2 구간 추정
8.3 점 추정 기법
8.3.1 모멘트 기법
8.3.2 최소 자승법
8.3.3 최대 우도 추정
8.4 구간 추정 또는 신뢰 구간
8.4.1 모집단 평균의 신뢰 구간
8.4.2 비율의 신뢰 구간
8.4.3 모집단 분산의 신뢰 구간
8.5 맺음말
8.6 연습문제

9장. 가설 검정
9.1 소개
9.2 모수적 검정
9.3 정규성의 일변량 검정
9.3.1 콜모고로프-스미노프 검정
9.3.2 사피로-윌크 검정
9.3.3 사피로-프란시아 검정
9.3.4 SPSS를 사용한 정규성 검정 해법
9.3.5 Stata를 사용한 정규성 검정 해법
9.4 분산의 동질성 검정
9.4.1 바틀렛의 ??2 검정
9.4.2 코크란의 C 검정
9.4.3 하틀리의 F max 검정
9.4.4 레빈의 F 검정
9.4.5 SPSS를 사용한 레빈의 검정 해법
9.4.6 Stata를 사용한 레빈의 검정 해법
9.5 단일 확률 표본으로부터의 모집단 평균(μ )에 관한 가설 검정
9.5.1 모집단 표준 편차(σ )를 알고 분포가 정규임을 알 경우의 Z 검정9.5.2 모집단의 표준 편차(σ)를 모를 경우의 스튜던트 t 검정
9.5.3 SPSS를 사용한 단일 표본의 스튜던트 t 검정 해법
9.5.4 Stata 소프트웨어를 사용한 단일 표본의 스튜던트 t 검정 해법
9.6 두 독립 확률 표본의 두 모집단 평균을 비교하는 스튜던트 t 검정
9.6.1 SPSS를 사용한 두 독립 표본의 스튜던트 t 검정 해법
9.6.2 Stata를 사용한 두 독립 표본의 스튜던트 t 검정 해법
9.7 두 대응 확률 표본의 두 모집단 평균을 비교하기 위한 스튜던트 t 검정
9.7.1 SPSS를 사용한 대응 표본의 스튜던트 t 검정 해법
9.7.2 Stata를 사용한 두 대응 표본의 스튜던트 t 검정 해법
9.8 셋 이상의 모집단 평균 비교를 위한 ANOVA
9.8.1 일원배치 ANOVA
9.8.2 요인 ANOVA
9.9 맺음말
9.10 연습문제

10장. 비모수적 검정
10.1 소개
10.2 단일 표본 검정
10.2.1 이항 검정
10.2.2 단일 표본의 카이제곱 검정(χ 2)
10.2.3 단일 표본의 부호 검정
10.3 두 대응 표본의 검정
10.3.1 맥네마르 검정
10.3.2 두 대응 표본의 부호 검정
10.3.3 윌콕슨 검정378
10.4 두 독립 표본의 검정
10.4.1 두 독립 표본의 카이제곱(χ 2) 검정
10.4.2 만-휘트니 U 검정
10.5 k 대응 표본 검정
10.5.1 코크란 Q 검정
10.5.2 프리드먼 검정
10.6 k 독립 표본 검정
10.6.1 k 독립 표본의 χ 2 검정
10.6.2 크루스칼-월리스 검정
10.7 맺음말
10.8 연습문제

5부. 다변량 탐색적 데이터 분석

11장. 클러스터 분석
11.1 소개
11.2 클러스터 분석
11.2.1 클러스터 분석에서 거리와 유사성 측도의 정의
11.2.2 클러스터 분석의 응집 계획
11.3 SPSS를 사용한 계층적, 비계층적 클러스터 분석
11.3.1 SPSS를 사용한 계층적 응집 계획 수행
11.3.2 SPSS를 이용해 비계층 k 평균 응집 계획 수행
11.4 Stata를 사용한 계층적, 비계층적 응집 계획 클러스터 분석
11.4.1 Stata를 사용한 계층적 응집 계획 수행
11.4.2 Stata를 사용한 비계층적 k 평균 응집 계획 수행
11.5 맺음말
11.6 연습문제

12장. 주성분 요인 분석
12.1 소개
12.2 주성분 요인 분석
12.2.1 피어슨의 선형 상관관계와 요인의 개념
12.2.2 요인 분석의 전반적 적절성: 카이저-마이어-올킨 통계량과 바렛의 구형성 검정
12.2.3 주성분 요인의 정의: 상관 행렬 r의 고윳값과 고유벡터의 결정 그리고 요인 점수 계산
12.2.4 요인 적재 및 공통성
12.2.5 요인 회전
12.2.6 주성분 요인 분석의 실제 예제
12.3 SPSS를 사용한 주성분 요인 분석
12.4 Stata를 사용한 주성분 요인 분석
12.5 맺음말
12.6 연습문제

6부. 일반화 선형 모델

13장. 단순 및 다중 회귀 모델
13.1 소개
13.2 선형 회귀 모델
13.2.1 최소 자승에 의한 선형 회귀 모델 추정
13.2.2 회귀 모델의 해석력: 결정 계수 R 2
13.2.3 회귀 모델과 각 모수의 일반 통계적 유의성
13.2.4 모델 모수의 신뢰 구간 구축과 예측
13.2.5 다중 선형 회귀 모델의 추정
13.2.6 회귀 모델에서의 더미 변수
13.3 OLS로 추정된 회귀 모델의 예측
13.3.1 잔차의 정규성
13.3.2 다중공선성 문제
13.3.3 이분산