딥러닝을 위한 수학 (신경망 수학 기초부터 역전파와 경사하강법까지)

로널드크노이젤

RonaldT.Kneusel
2003년부터업계에서심층학습개발자로일해오면서,2016년콜로라도대학교볼더캠퍼스에서기계학습전공박사학위를받았다.이책외에세권의책《PracticalDeepLearning:APython-BasedIntroduction》(NoStarchPress),《NumbersandComputers》(Springer),《RandomNumbersandComputers》(Springer)를썼다.

지은이·감수자·옮긴이소개x
옮긴이머리말xi
베타리더후기xiii
추천사xv
감사의글xviii
이책에대하여xix

CHAPTER1실습환경설정1
1.1도구모음설치2
1.1.1리눅스2/1.1.2macOS3/1.1.3Windows4
1.2NumPy5
1.2.1배열정의6/1.2.2데이터형식7/1.2.32차원배열8
1.2.40배열과1배열8/1.2.5고급색인접근9/1.2.6디스크읽기/쓰기12
1.3SciPy12
1.4Matplotlib14
1.5Scikit-Learn16
1.6요약18

CHAPTER2확률1부19
2.1기본개념들20
2.1.1표본공간과사건20/2.1.2확률변수21/2.1.3인간은확률에약하다22
2.2확률의법칙들24
2.2.1단일사건의확률24/2.2.2합의법칙27/2.2.3곱의법칙28
2.2.4합의법칙보충29/2.2.5생일역설30/2.2.6조건부확률34
2.2.7전체확률35
2.3결합확률과주변확률36
2.3.1결합확률표37/2.3.2확률의연쇄법칙42
2.4요약45
CHAPTER3확률2부47
3.1확률분포47
3.1.1히스토그램과확률48/3.1.2이산확률분포52/3.1.3연속확률분포58
3.1.4중심극한정리62/3.1.5큰수의법칙64
3.2베이즈정리66
3.2.1다시살펴보는암진단예제67/3.2.2사전확률의갱신68
3.2.3기계학습의베이즈정리70
3.3요약73

CHAPTER4통계75
4.1데이터의종류76
4.1.1명목형자료76/4.1.2순서형자료76/4.1.3구간자료76
4.1.4비율자료77/4.1.5명목형자료와심층학습78
4.2요약통계량78
4.2.1평균과중앙값79/4.2.2변동의측도83
4.3분위수와상자그림87
4.4결측자료92
4.5상관관계96
4.5.1피어슨상관계수96/4.5.2스피어먼상관계수100
4.6가설검정103
4.6.1가설104/4.6.2t-검정105/4.6.3맨-휘트니U검정111
4.7요약113

CHAPTER5선형대수1부115
5.1스칼라,벡터,행렬,텐서116
5.1.1스칼라116/5.1.2벡터116/5.1.3행렬118/5.1.4텐서119
5.2텐서산술연산122
5.2.1배열연산122/5.2.2벡터연산124
5.2.3행렬곱셈134/5.2.4크로네커곱140
5.3요약141

CHAPTER6선형대수2부143
6.1정방행렬144
6.1.1왜정방행렬인가?144/6.1.2전치,대각합,거듭제곱146
6.1.3특별한정방행렬들148/6.1.4단위행렬149/6.1.5행렬식151
6.1.6역행렬155/6.1.7대칭행렬,직교행렬,유니터리행렬157
6.1.8대칭행렬의정부호성158
6.2고윳값과고유벡터159
6.2.1고윳값과고유벡터구하기160
6.3벡터노름과거리함수164
6.3.1L-노름과거리함수164/6.3.2공분산행렬166
6.3.3마할라노비스거리169/6.3.4쿨백-라이블러발산값172
6.4주성분분석174
6.5특잇값분해와유사역행렬178
6.5.1특잇값분해예제179/6.5.2두가지용도181
6.6요약183

CHAPTER7미분185
7.1기울기(슬로프)186
7.2도함수188
7.2.1도함수의공식적인정의188/7.2.2기본미분법190
7.2.3삼각함수미분법195/7.2.4지수함수와로그함수의미분법198
7.3함수의극솟값과극댓값201
7.4편미분205
7.4.1혼합편미분207/7.4.2편미분연쇄법칙208
7.5기울기(그래디언트)210
7.5.1기울기계산210/7.5.2기울기의시각화213
7.6요약216

CHAPTER8행렬미분217
8.1공식들218
8.1.1스칼라인수벡터함수219/8.1.2벡터인수스칼라함수221
8.1.3벡터인수벡터함수221/8.1.4스칼라인수행렬함수222
8.1.5행렬인수스칼라함수223
8.2항등식224
8.2.1벡터인수스칼라함수관련항등식224
8.2.2스칼라인수벡터함수관련항등식226
8.2.3벡터인수벡터함수관련항등식227
8.2.4행렬인수스칼라함수관련항등식228
8.3야코비행렬과헤세행렬230
8.3.1야코비행렬231/8.3.2헤세행렬238
8.4행렬미분예제몇가지245
8.4.1성분별연산의도함수245/8.4.2활성화함수의도함수246
8.5요약248

CHAPTER9신경망의데이터흐름249
9.1데이터표현250
9.1.1전통적인신경망250/9.1.2심층합성곱신경망251
9.2전통적인신경망의데이터흐름254
9.3합성곱신경망의데이터흐름259
9.3.1합성곱259/9.3.2합성곱층265/9.3.3풀링층268
9.3.4완전연결층269/9.3.5합성곱신경망의데이터흐름269
9.4요약272

CHAPTER10역전파275
10.1역전파란무엇인가?276
10.2직접계산해보는역전파277
10.2.1편미분유도279/10.2.2파이썬구현281
10.2.3신경망모형의훈련과시험286
10.3완전연결신경망의역전파288
10.3.1오차의역전파288/10.3.2가중치와치우침값의편미분계산292
10.3.3파이썬구현294/10.3.4구현적용299
10.4계산그래프302
10.5요약305

CHAPTER11경사하강법307
11.1기본개념308
11.1.11차원경사하강법308/11.1.22차원경사하강법312
11.2확률적경사하강법318
11.3운동량321
11.3.1운동량이란?321/11.3.2운동량을도입한1차원경사하강법323
11.3.3운동량을도입한2차원경사하강법325
11.3.4운동량을이용한신경망학습326/11.3.5네스테로프운동량333
11.4적응적경사하강법336
11.4.1RMSprop336/11.4.2AdaGrad와ADADELTA337
11.4.3Adam338/11.4.4최적화기법에관한몇가지생각340
11.5요약341
11.6맺음말342

부록:더나아가기343
확률과통계343
선형대수344
미적분345
심층학습345

찾아보기348

이책에서다루는검증가능한예제들은순수수학과심층학습응용의틈새를메우는역할을한다.벡터와행렬,확률분포등의근본적인주제를설명한뒤에행렬미분과같은좀더심화한개념으로나아가며,마지막에는모든논의를통합해서심층학습의필수알고리즘인역전파와경사하강법을다룬다.

■확률법칙들과확률분포,베이즈확률
■통계를이용해서데이터집합을파악하고모형을평가하는방법
■벡터와행렬을다루는방법과데이터가벡터와행렬의형태로신경망을통과하는과정
■선형대수를이용한주성분분석(PCA)과특잇값분해(SVD)구현
■역전파,경사하강법,여러최적화기법(SGD,Adam,RMSprop,Adagrad/Adadelta)