확률론적 머신러닝: 기본편 - 에이콘 데이터 과학 시리즈

케빈머피

저자:케빈머피
아일랜드에서태어났지만영국에서자라케임브리지대학교학사,펜실베이니아대학교공학석사,버클리대학교박사를취득했다.MIT에서의박사후과정을마치고,2004년부터2012년동안캐나다밴쿠버브리티시컬럼비아대학교의컴퓨터과학및통계학부교수로지냈다.테뉴어를얻은뒤,캘리포니아에있는구글에서안식년을보냈으며그곳에서머물기로결정했다.현재구글딥마인드에서생성모델,강화학습,베이즈추론,최적화,로버스트성및여러주제에대해연구하고있는,26명의연구자와엔지니어가있는팀을이끌고있다.케빈은컨퍼런스와저널에136개의논문을발표했으며,MITPress를통해2012년,2022년,2023년에머신러닝에대한교과서세권을저술했다.(2012년책은드그루트(DeGroot)상을수상하며통계적과학분야에서가장우수한책으로선정됐다.)또한2014년부터2017년까지머신러닝연구저널(JMLR)의(공동)편집자로일했다.

역자:이판호
성균관대학교통계학과를졸업했으며,한국및싱가포르에서주로금융업및소프트웨어개발분야에종사했다.머신러닝의이론적이해및금융데이터응용에관심이많다.에이콘출판사에서펴낸『스칼라와머신러닝』(2018),『통계학으로배우는머신러닝』(2021),『딥러닝초보자를위한엔비디아가이드북』(2023)등을번역했다.현재는국내에서보안솔루션의엔지니어로서많은영어화상회의를하며일하고있다.

01장.서론
1.1머신러닝이란무엇인가?
1.2지도학습
1.2.1분류
1.2.2회귀
1.2.3과적합과일반화
1.2.4‘공짜점심은없다’정리
1.3비지도학습
1.3.1군집화
1.3.2잠재된‘변형인자’발견하기
1.3.3자기지도학습
1.3.4비지도학습평가
1.4강화학습
1.5데이터
1.5.1몇가지공통적인이미지데이터셋
1.5.2공통적인텍스트데이터셋
1.5.3이산적인입력데이터전처리
1.5.4텍스트데이터전처리
1.5.5결측데이터다루기
1.6논의
1.6.1ML과다른분야간의관계
1.6.2이책의구조
1.6.3주의할점

1부기초

02장.확률:일변량모델
2.1개요
2.1.1확률이란무엇인가?
2.1.2불확실성의형태
2.1.3논리의확장으로서의확률
2.2확률변수
2.2.1이산확률변수
2.2.2연속확률변수
2.2.3관련된확률변수의집합
2.2.4독립및조건부독립
2.2.5분포의적률
2.2.6요약통계량의한계*
2.3베이즈규칙
2.3.1COVID-19테스트
2.3.2예시:몬티홀문제
2.3.3역문제*
2.4베르누이와이항분포
2.4.1정의
2.4.2시그모이드(로지스틱)함수
2.4.3이항로지스틱회귀
2.5범주형및다항분포
2.5.1정의
2.5.2소프트맥스함수
2.5.3다중클래스로지스틱회귀
2.5.4log-sum-exp트릭
2.6일변량가우스(정규)분포
2.6.1누적분포함수
2.6.2확률밀도함수
2.6.3회귀
2.6.4가우스분포가이처럼널리쓰이는이유는무엇인가?
2.6.5극한의경우로서의디랙델타함수
2.7일반적인일변량분포*
2.7.1스튜던트t분포
2.7.2코시분포
2.7.3라플라스분포
2.7.4베타분포
2.7.5감마분포
2.7.6경험적분포
2.8확률변수의변환*
2.8.1이산형의경우
2.8.2연속형의경우
2.8.3가역변환(전단사)
2.8.4선형변환의적률
2.8.5합성곱정리
2.8.6중심극한정리
2.8.7몬테카를로근사
2.9연습문제

03장.확률:다변량모델
3.1여러확률변수의결합분포
3.1.1공분산
3.1.2상관
3.1.3무상관은독립을뜻하지않는다
3.1.4상관성은인과성을뜻하지않는다
3.1.5심슨의역설
3.2다변량가우스(정규)분포
3.2.1정의
3.2.2마할라노비스거리
3.2.3MVN의주변및조건부분포*
3.2.4예시:2차원가우스조건부화
3.2.5예시:결측값대체*
3.3선형가우스체계*
3.3.1가우스를위한베이즈규칙
3.3.2유도*
3.3.3알수없는스칼라추론하기
3.3.4예시:알수없는벡터추론
3.3.5예시:센서퓨전
3.4지수족*
3.4.1정의
3.4.2예시
3.4.3로그분할함수는누율생성함수다
3.4.4지수족의최대엔트로피미분
3.5혼합모델
3.5.1가우스혼합모델
3.5.2베르누이혼합모델
3.6확률적그래프모델*
3.6.1표현
3.6.2추론
3.6.3학습
3.7연습문제

04장.통계학
4.1소개
4.2최대가능도추정(MLE)
4.2.1정의
4.2.2MLE의정당화
4.2.3예시:베르누이분포의MLE
4.2.4예시:범주형분포의MLE
4.2.5예시:일변량가우스의MLE
4.2.6예시:다변량가우스의MLE
4.2.7예시:선형회귀의MLE
4.3경험적위험최소화(ERM)
4.3.1예시:오분류율최소화
4.3.2대리손실
4.4그밖의추정방법*
4.4.1적률법
4.4.2온라인(재귀)추정
4.5정칙화
4.5.1예시:베르누이분포의MAP추정
4.5.2예시:다변량가우스를위한MAP추정*
4.5.3예시:가중치소멸
4.5.4검증집합을사용해정칙자고르기
4.5.5교차검증
4.5.6조기중단
4.5.7더많은데이터사용하기
4.6베이즈통계학*
4.6.1켤레사전분포
4.6.2베타이항모델
4.6.3디리클레-다항모델
4.6.4가우스-가우스모델
4.6.5켤레사전분포를넘어서
4.6.6신용구간
4.6.7베이즈머신러닝
4.6.8연산적이슈
4.7빈도주의통계학*
4.7.1표본분포
4.7.2MLE의표본분포의가우스근사
4.7.3임의추정량의표본분포의부트스트랩근사
4.7.4신뢰구간
4.7.5주의:신뢰구간은신용할만하지않다
4.7.6편향-분산트레이드오프
4.8연습문제

05장.결정이론
5.1베이즈결정이론
5.1.1기초
5.1.2분류문제
5.1.3ROC곡선
5.1.4정밀도-재현율곡선
5.1.5회귀문제
5.1.6확률적예측문제
5.2‘올바른’모델선택
5.2.1베이즈가설검정
5.2.2베이즈모델선택
5.2.3오컴의면도날
5.2.4교차검증과주변가능도사이의관계
5.2.5정보기준
5.2.6효과크기에대한사후추론및베이즈유의도검정
5.3빈도주의결정이론
5.3.1추정량의위험계산하기
5.3.2일치추정량
5.3.3허용가능추정량
5.4경험적위험최소화
5.4.1경험적위험
5.4.2구조적위험
5.4.3교차검증
5.4.4통계적학습론*
5.5빈도주의가설검정*
5.5.1가능도비검정
5.5.2귀무가설유의도검정(NHST)
5.5.3p값
5.5.4p값은유해하다고간주됨
5.5.5왜모두가베이즈적이지않은가?
5.6연습문제

06징.정보이론.
6.1엔트로피
6.1.1이산확률변수의엔트로피
6.1.2교차엔트로피
6.1.3결합엔트로피
6.1.4조건부엔트로피
6.1.5퍼플렉서티
6.1.6연속확률변수를위한미분엔트로피*
6.2상대엔트로피(KL발산)*
6.2.1정의
6.2.2해석
6.2.3예시:두가우스사이의KL발산
6.2.4KL의비음성
6.2.5KL발산과MLE
6.2.6전진KL대후진KL
6.3상호정보*
6.3.1정의
6.3.2해석
6.3.3예시
6.3.4조건부상호정보
6.3.5‘일반화상관계수’로서의MI
6.3.6정규화상호정보
6.3.7최대정보계수
6.3.8데이터처리부등식
6.3.9충분통계량
6.3.10파노의부등식*
6.4연습문제

07장.선형대수
7.1소개
7.1.1표기법
7.1.2벡터공간
7.1.3벡터와행렬의노름
7.1.4행렬의속성
7.1.5특별한형태의행렬
7.2행렬곱셈
7.2.1벡터-벡터곱
7.2.2행렬-벡터곱
7.2.3행렬-행렬곱
7.2.4응용:데이터행렬조작
7.2.5크로네커곱*
7.2.6아인슈타인합*
7.3역행렬
7.3.1정방행렬의역
7.3.2슈어보수*
7.3.3역행렬보조정리*
7.3.4행렬식보조정리*
7.3.5응용:MVN의조건부분포유도하기*
7.4고윳값분해(EVD)
7.4.1기본
7.4.2대각화
7.4.3대칭행렬의고윳값과고유벡터
7.4.4이차형식의기하학
7.4.5데이터표준화및백색화
7.4.6거듭제곱법
7.4.7수축
7.4.8고유벡터는이차형식을최적화한다
7.5특잇값분해(SVD)
7.5.1기본
7.5.2SVD와EVD사이의관계
7.5.3유사역행렬
7.5.4행렬의SVD와치역및영공간*
7.5.5절단된SVD
7.6그밖의행렬분해*
7.6.1LU인수분해
7.6.2QR분해
7.6.3촐레스키분해
7.7선형연립방정식풀기*
7.7.1정방체계풀기
7.7.2과소제약체계풀기(최소노름추정)
7.7.3과대제약체계풀기(최소제곱추정)
7.8행렬미적분
7.8.1도함수
7.8.2기울기
7.8.3방향도함수
7.8.4전도함수*
7.8.5야코비
7.8.6헤세
7.8.7주로쓰이는함수의기울기
7.9연습문제

08장.최적화
8.1개요
8.1.1국소대전역최적화
8.1.2제약대비제약최적화
8.1.3볼록대비볼록최적화
8.1.4평활대비평활최적화
8.2일계법
8.2.1하강방향
8.2.2단계크기(학습률)
8.2.3수렴률
8.2.4운동량방법
8.3이계법
8.3.1뉴턴법
8.3.2BFGS및그밖의준뉴턴법
8.3.3신뢰영역법
8.4확률적경사하강
8.4.1유한합문제로의응용
8.4.2예시:선형회귀적합을위한SGD
8.4.3단계크기(학습률)정하기
8.4.4반복평균화
8.4.5분산축소*
8.4.6선조건부SGD
8.5제약최적화
8.5.1라그랑주승수
8.5.2KKT조건
8.5.3선형프로그래밍
8.5.4이차프로그래밍
8.5.5혼합정수선형프로그래밍*
8.6프록시말경사법*
8.6.1사영된경사하강
8.6.2l1-노름정칙자를위한프록시말연산자
8.6.3양자화를위한프록시말연산자
8.6.4증분(온라인)프록시말방법
8.7경계최적화*
8.7.1일반적인알고리듬
8.7.2EM알고리듬
8.7.3예시:GMM을위한EM
8.8블랙박스및도함수자유최적화
8.9연습문제

2부.선형모델

09장.선형판별분석
9.1개요
9.2가우스판별분석
9.2.1이차결정경계
9.2.2선형결정경계
9.2.3LDA와로지스틱회귀사이의연결점
9.2.4모델적합시키기
9.2.5최근접중심점분류기
9.2.6피셔의선형판별분석*
9.3나이브베이즈분류기
9.3.1예시모델
9.3.2모델적합시키기
9.3.3베이즈적인나이브베이즈
9.3.4나이브베이즈와로지스틱회귀사이의연결점
9.4생성적분류기와판별분류기
9.4.1판별분류기의