그림으로 배우는 딥러닝

앤드류글래스너

AndrewS.Glassner
웨타디지털(WetaDigital)의선임연구과학자다.예술가가딥러닝으로영화와텔레비전에서시각효과를낼수있게돕고있다.SIGGRAPH’94의기술논문좌장,「JournalofComputerGraphicsTools」의창립편집자,「ACMTransactionsonGraphics」의편집장을역임했다.저서로는『GraphicsGems』(AcademicPress)시리즈와『PrinciplesofDigitalImageSynthesis』(MorganKaufmann,1995)가있다.UNC-ChapelHill에서박사학위를취득했다.여가에는그림을그리고재즈피아노를연주하고소설을쓴다.웹사이트는www.glassner.com이며,트위터에서@AndrewGlassner로찾아볼수있다.

1부.기본개념

1장.머신러닝개요
전문가시스템
지도학습
비지도학습
강화학습
딥러닝
요약

2장.필수통계
무작위성설명
확률변수와확률분포
몇가지일반적인분포
__연속분포
__이산분포
확률변수의집합
__기댓값
__의존성
__독립항등분포된변수
추출과복원
__복원추출
__비복원추출
부트스트랩
공분산과상관관계
__공분산
__상관관계
통계가모든것을말해주지는않는다
고차원공간
요약

3장.성능측정
확률의여러유형
__다트던지기
__단순확률
__조건부확률
__결합확률
__주변확률
정확도측정
__샘플분류
__혼동행렬
__잘못된예측값특성화
__옳고그름의측정
__정확도
__정밀도
__재현율
__정밀도-재현율트레이드오프
__오해의소지가있는측정지표
__f1점수
__용어
__기타측정지표
혼동행렬을올바르게구성하기
요약

4장.베이즈규칙
빈도주의와베이지안확률
__빈도주의적접근
__베이지안접근법
__빈도주의자대베이지안주의자
빈도주의자의동전던지기
베이지안의동전던지기
__동기부여예제
__동전확률그리기
__동전던지기를확률로표현하기
__베이즈규칙
__베이즈규칙에대한논의
베이즈규칙과혼동행렬
베이즈규칙반복
__사후확률-사전확률루프
__베이즈루프실습
다중가설
요약

5장.곡선과표면
함수의본질
미분
__최댓값과최솟값
__접선
__미분으로최솟값과최댓값찾기
그래디언트
__물,중력,그래디언트
__경사도로최댓값과최솟값찾기
__안장점
요약

6장.정보이론
놀라움과맥락
__놀라움이해
__맥락풀기
정보측정
적응형코드
__모스말하기
__모스부호커스터마이징
엔트로피
교차엔트로피
__두개의적응형코드
__코드사용
__실전에서의교차엔트로피
쿨백-라이블러발산
요약


2부.머신러닝기초

7장.분류
이진분류
2D다중클래스분류
다중클래스분류
__하나대나머지
__하나대하나
클러스터링
차원의저주
__차원과밀도
__고차원의기이함
요약

8장.훈련과테스팅
훈련
성능테스트
__테스트데이터
__검증데이터
교차검증
k-폴드교차검증
요약

9장.과적합과과소적합
좋은적합찾기
__과적합
__과소적합
과적합의탐지와해결
__얼리스토핑
__일반화
편향과분산
__기저데이터에일치시키기
__높은편향,낮은분산
__낮은편향,높은분산
__곡선비교
베이즈규칙으로선적합하기
요약

10장.데이터준비
기본데이터정제
일관성의중요성
데이터유형
원핫인코딩
정규화와표준화
__정규화
__표준화
__변환기억하기
변환유형
__슬라이스처리
__샘플별처리
__피처별처리
__요소별처리
역변환
교차검증의정보유출
데이터세트축소
__피처선택
__차원축소
주성분분석
__단순이미지를위한PCA
__실제이미지에대한PCA
요약

11장.분류기
분류기의유형
k-최근접이웃
의사결정트리
__트리소개
__의사결정트리사용
__과적합트리
__노드분할
서포트벡터머신
__기본알고리듬
__SVM커널트릭
나이브베이즈
분류기비교
요약

12장.앙상블
투표
의사결정트리의앙상블
__배깅
__랜덤포레스트
__엑스트라트리
부스팅
요약


3부.딥러닝기본

13장.신경망
실제뉴런
인공뉴런
__퍼셉트론
__현대인공뉴런
뉴런그리기
피드포워드네트워크
신경망그래프
가중치초기화
딥네트워크
완전연결레이어
텐서
네트워크붕괴방지
활성화함수
__직선함수
__계단함수
__구간선형함수
__매끄러운함수
__활성화함수갤러리
__활성화함수비교
소프트맥스
요약

14장.역전파
높은수준에서의훈련개요
__오류처벌하기
__학습을위한느린방법
__경사하강법
개요
작은신경망에서의역전파
__출력뉴런의델타찾기
__가중치변경을위해델타사용
__다른뉴런의델타
더큰네트워크에서의역전파
학습률
__이진분류기구축
__학습률선택
__훨씬더작은학습률
요약

15장.옵티마이저
2D곡선오류
학습률조정
__일정한크기로업데이트
__시간에따라학습률을변화
__감쇠스케줄
업데이트전략
__배치경사하강법
__확률적경사하강법
__미니배치경사하강법
경사하강법변형
__모멘텀
__네스테로프모멘텀
__Adagrad
__Adadelta와RMSprop
__Adam
옵티마이저선택
일반화
__드롭아웃
__배치정규화
요약


4부.기초를넘어

16장.컨볼루션신경망
컨볼루션소개
__노란색탐지
__가중치공유
__더큰필터
__필터와피처
__패딩
다차원컨볼루션
다중필터
컨볼루션레이어
__1D컨볼루션
__1×1컨볼루션
출력크기변경
__풀링
__스트라이드
__전치컨볼루션
필터의계층구조
__가정단순화
__안면마스크찾기
__눈,코,입찾기
__필터적용
요약

17장.실제컨볼루션신경망
손글씨분류
VGG16
필터시각화1부
필터시각화2부
적대사례
요약

18장.오토인코더
인코딩소개
__비손실인코딩과손실인코딩
표현혼합하기
가장단순한오토인코더
더좋은오토인코더
오토인코더탐험
__잠재변수자세히살펴보기
__파라미터공간
__잠재변수혼합
__새로운입력에대한예측
컨볼루셔널오토인코더
__잠재변수혼합
__새로운입력에대해예측
노이즈제거
변분오토인코더
__잠재변수의분포
__변분인코더구조
VAE탐험
__MNIST샘플로작업
__두잠재변수로작업
__새로운입력전달
요약

19장.순환신경망
언어다루기
__일반적인자연어처리작업
__텍스트를숫자로변환
__미세조정과다운스트림네트워크
완전연결예측
__네트워크테스트
__네트워크가실패한이유
순환신경망
__스테이트소개
__다이어그램롤업
__실전에서의순환셀
__순환신경망훈련
__장단기기억과게이트순환신경망
순환신경망사용
__흑점데이터로작업
__텍스트생성
__다양한아키텍처
Seq2Seq
요약

20장.어텐션과트랜스포머
임베딩
__단어임베딩
__ELMo
어텐션
__동기를부여하는비유
__셀프어텐션
__Q/KV어텐션
__멀티헤드어텐션
__레이어아이콘
트랜스포머
__스킵커넥션
__놈-애드
__포지셔널인코딩
__트랜스포머결합
__실전에서의트랜스포머
BERT와GPT-2
__BERT
__GPT-2
__생성기논의
__데이터포이즈닝
요약

21장.강화학습
기본아이디어
새로운게임배우기
강화학습의구조
__1단계:에이전트가행동을선택
__2단계:환경이응답
__3단계:에이전트가자체업데이트
__큰그림으로돌아가기
__보상이해
플리퍼
L-러닝
__기초
__L-러닝알고리듬
__알고리듬테스트
__예측불가능성처리
Q-러닝
__Q-값과업데이트
__Q-러닝정책
__하나로결합
__골치아픈문제
__Q-러닝실습
SARSA
__알고리듬
__SARSA실습
__Q-러닝과SARSA비교
큰그림
요약

22장.생성적적대신경망
지폐위조
__경험에서학습
__신경망으로위조
__학습과정
__왜적대일까?
GAN구현
__판별기
__생성기
__GAN훈련
GAN실습
__판별기와생성기구축
__네트워크훈련
__네트워크테스트
DCGAN
도전과제
__큰샘플사용
__모드붕괴
__생성한데이터로훈련
요약

23장.창의적인애플리케이션
딥드리밍
__필터자극
__딥드리밍실행
뉴럴스타일전이
__스타일표현
__콘텐츠표현
__스타일과콘텐츠를함께
__스타일전이실행
이책을더만들어보기
요약

◈이책에서다루는내용◈

◆텍스트생성기로이야기와기사를만드는방법
◆인간게임에서딥러닝시스템이승리하도록학습하는방법
◆이미지분류시스템으로사진속사물이나사람을식별하는방법
◆일상생활에서확률을유용하게활용하는방법
◆머신러닝기술로현대AI에기여하는방법

◈이책의대상독자◈

딥러닝이어떻게동작하는지관심있는사람을위해이책을썼다.수학이나프로그래밍경험은필요없다.컴퓨터전문가나기술자일필요도전혀없다.
딥러닝의알고리듬대부분이그리복잡하거나이해하기어렵지않다는것에놀랄지도모른다.이들은대개단순하고우아하며대형데이터베이스를통해수백만번반복해힘을얻게된다.
순수하게지적호기심을충족시키고싶은사람이나딥러닝을다루는다른사람과교류하는사람이읽기에도좋다.AI를이해하면좋은이유중하나는AI를활용할수있다는것이다.이책을통해일을더잘하고취미를더깊게즐기고주변세상을더욱완전하게이해할수있도록도와주는인공지능시스템을구축할수있을것이다.

◈이책의구성◈

1장,'머신러닝개요’에서는큰그림을보면서머신러닝이어떻게동작하는지에대한발판을마련한다.
2장,‘필수통계’에서는데이터에서패턴을찾고설명할수있게해준다.
3장,‘성능측정’에서는측정할방법을신중하게선택해알고리듬이“잘못”된상황은실제로무엇을의미하는지설명할수있다.
4장,‘베이즈규칙’에서는기댓값(expectations)과지금까지확인한결과들을모두고려해알고리듬이올바른결과를제공할수있는우도(likelihood)에대해살펴본다.
5장,‘곡선과표면’에서는학습알고리듬을다루는데도움이되도록곡선과표면이어떻게생겼는지설명한다.
6장,‘정보이론'에서는정보를표현하고수정하는아이디어로다양한유형의정보를정량화하고측정할수있게해준다.
7장,‘분류’에서는컴퓨터가데이터조각에특정클래스나범주를할당하는문제를해결하기위한기본아이디어를살펴본다.
8장,‘훈련과테스팅’에서는실제로활용할수있는딥러닝시스템의구축을위해성능을테스트한다.
9장,‘과적합과과소적합’에서는훈련시사용한데이터를외워처음본데이터처리를더못하는문제가어디에서발생하는지,어떻게영향을줄일수있는지알아본다.
10장,‘데이터준비’에서는학습할많은데이터를제공해딥러닝시스템을훈련한다.가능한한효과적으로학습하고자이데이터를어떻게준비해야하는지알아본다.
11장,‘분류기’에서는데이터를분류하기위한구체적인머신러닝알고리듬을알아본다.이러한방법들은딥러닝시스템을훈련시키고자시간과노력을투자하기전에데이터를파악하는좋은방법이다.
12장,‘앙상블’에서는아주간단한학습시스템을훨씬더강력한복합시스템으로결합시키는방법을다룬다.
13장,‘신경망’에서는인공뉴런과이것들을어떻게연결해서네트워크를만드는지살펴본다.이러한네트워크들은딥러닝의기반을구성한다.
14장,‘역전파’에서는신경망을실용적으로만드는핵심알고리듬은데이터에서학습할수있게훈련시키는방법을다룬다.
15장,‘옵티마이저’에서는심층네트워크를훈련하는두번째알고리듬의성능향상을효과적으로수행하기위한다양한방법을알아본다.
16장,‘컨볼루션신경망’에서는영상과같은공간데이터를처리할수있는강력한알고리듬과그것들이어떻게사용되는지알아본다.
17장,‘실제컨볼루션신경망’에서는공간정보를다루는기술을어떻게활용할수있는지자세히알아본다.
18장,‘오토인코더’에서는대규모데이터세트를단순화하고노이즈를제거해손상된이미지를정제하는방법을다룬다.
19장,‘순환신경망’에서는텍스트와오디오클립같은시퀀스를작업할때필요한특별한도구를살펴본다.
20장,‘어텐션과트랜스포머’에서는텍스트를해석하고생성하도록설계된알고리듬을알아본다.
21장,‘강화학습’에서는컴퓨터가제공하기를원하는답을모르는문제를유연하게해결하는방법을살펴본다.
22장,‘생성적적대신경망’에서는갖고있는데이터의새로운인스턴스를창조하거나생성하는생성기를훈련시킬수있는강력한방법을알아본다.
23장,‘창의적인애플리케이션’에서는사이키델릭한이미지를만들고,예술가의시그니처스타일을사진에적용하고,어떤작가의스타일로든새로운텍스트를생성하기위한딥러닝도구를적용해본다.

◈옮긴이의말◈

해가지날수록풀기힘든문제를AI로풀어보고자노력하는사람들을많이만난다.문제의본질을고민하고,여러아이디어로실험해보고,피처를새로만들어보고,네트워크구조를바꿔보고,데이터를더모아보고,잘못된데이터가없는지또검사해보고,실험을실패하고다시시도하는등고군분투하는사람이늘고있다.
또한AI나ML팀이아닌다른부서에AI나머신러닝지식을전달하고발표해야하는자리도늘어나고있다.업무의효율을높이기위해서는AI를적용해야하고,다른회사와의협업이나사업기회를만드려면연구개발조직이아닌부서에도AI와머신러닝지식이요구된다.
이책은마주치자마자덮어버리고싶은수식과개발자가아니면굳이알고싶지않은코드를제거하고그림만으로머신러닝,딥러닝이론을설명한책이다.거부반응없이머신러닝과딥러닝에최대한가깝게갈수있도록저자가많은공을들였다.부족한역자로인해저자의노력이사라지지않도록최선을다해번역했다.
아무쪼록이책이머신러닝과딥러닝에입문할때수식과코드때문에겁먹어포기하지않고,이분야의이론을전반적으로훑어보고이해하는데많은도움이됐으면한다.
김창엽

6년전,인간과AI가바둑대결을할때만해도“AI가이런것도가능해?”라며탄복한기억이있다.여러해가지난지금은“AI가이런것도못해?”라는생각이들때가있다.일상에서사용하는냉장고나공기청정기,스피커와같은가전에서도이제는AI를찾기어렵지않아기대감이높아졌기때문일것이다.AI는어느새일상에뿌리깊게자리한기술이됐다.하지만AI에대해과연얼마나알고있을까?개발자를비롯한많은사람이작동원리를완벽히이해하진못할것이다.모든기술이그렇듯단순히제공하는기능을사용하기보다는작동원리를이해함으로써더욱편리하게사용할수있다.배경을없애는기능을사용하고자사진을찍을때하얀바탕을배경으로찍는다든가,녹음파일의잡음을제거하고자녹음할때는격리된곳으로이동하는식으로말이다.AI를더깊이있게알면더효과적으로사용하게되고나아가직접개발하고개선시키고싶을것이다.
AI기능을개선하려면이분야의지식에한발짝더다가가야한다.그래야상황에맞는알고리듬을선택하고원하는결과를얻을수있을것이다.이런면에서이책이큰의미가있다고생각한다.이책은단순히기술의설명만을늘어놓지않고AI분야의작동원리를알기쉽게풀어설명하고있다.삶과지식을윤택하게만들어주는교양서일뿐만아니라이분야의기술자에게는다른무언가를개발하고개선시킬수있게하는토르의망치와같은책이될것이다.기술의겉모습에집중하지말고번개와같은기술의속성을이해하면서망치를휘둘러보자.훨씬더강력할것이다.
소재현