딥러닝의 정석 : 선형대수학과 확률로 시작하여 파이토치로 완성하는 딥러닝의 이론과 실전 (2판)

니틴부두마,니킬부두마,조파파

저자:니틴부두마(NithinBuduma)

스탠퍼드대학출신으로,하버드와스탠퍼드를기반으로한스타트업인XY.ai에서헬스케어분야의방대한데이터셋을활용하여활발히활동하고있다.



저자:니킬부두마(NikhilBuduma)

샌프란시스코에본사를둔Remedy의공동창립자이자수석과학자이다.

Remedy는데이터기반의1차의료를위한새로운시스템을구축하고있는회사이다.그는16세때산호세주립대학교에서신약개발연구소를운영하며,자원이부족한지역사회를위한저비용스크리닝방법론을개발했다.19세에는국제생물학올림피아드에서두차례금메달을획득하였고,MIT에진학하여의료서비스를개선하기위한대규모데이터시스템을개발하는데주력하였다.MIT에서는전국적인비영리단체인LeanOnMe를공동설립하여대학캠퍼스에서익명의문자핫라인을통해효과적인동료지원을제공하고,데이터를활용하여전국적으로긍정적인정신건강및웰니스결과에영향을미치는비영리단체를설립하였다.현재니킬은자신의벤처펀드인QVenturePartners를통해하드웨어기술및데이터회사에투자하고있으며,밀워키브루어스야구팀의데이터분석팀을관리하고있다.



저자:조파파(JoePapa)

『PyTorchPocketReference』(O'Reilly,2021)의저자이자TeachMe.AI의설립자이다.

연구및개발분야에서25년이상의경력을보유하고있으며,현재는Mobile에서수석AI엔지니어로AI프로젝트를이끌고있다.MSEE학위를취득한그는BoozAllen과PerspectaLabs에서PyTorch를사용하는AI연구팀을이끌었다.또한그는수백명의데이터과학자를지도하며Udemy,Packt및O'ReillyLearning을통해전세계7,000명이상의학생들에게교육을제공하고있다.



역자:최재훈

현재SW엔지니어로근무중이며,스마트폰,DTV,셋톱박스,IoT,XR,인공지능,오토모티

브등다양한분야의개발경험이있다.

컴퓨터공학학사와석사,그리고미국경영대학원석사학위를가지고있으며현재기술경영학박사과정에있기도하다.이전에는씽크프리코리아(현한글과컴퓨터그룹씽크프리)와휴맥스에서근무하며자바오피스슈트와임베디드셋탑박스소프트웨어양산개발에기여했다.

『자바인어넛셀』(한빛미디어,2000),『엔터프라이즈자바데이터베이스프로그래밍』(한빛미

디어,2001),『Go성능최적화가이드』(디코딩,2023)를번역하였다.



역자:차성재

금융AI스타트업AIZENGLOBAL의머신러닝팀리더겸의료AI분야의선두주자AINEX에서책임연구원및연구소장을역임한바있으며,현재는교육AI분야의선두기업크레버스에서AI엔지니어로활동중이다.

현재는교육분야에서자연어처리와거대언어모델(LLM)및MultiModalAI기능을활용한혁신적인서비스개발을주도하고있다.패스트캠퍼스에서확률및통계,인공지능,머신러닝,딥러닝등의과목을담당하여온라인강의를진행하였고,서울시립대학교스마트시티대학원에서는데이터분석및머신러닝과목을강의하고있다.금융,의료,교육,스마트시티등다양한산업에서AI서비스개발에참여하며그랜드슬램을달성해나가고있다.



역자:성태응

연세대학교미래캠퍼스소프트웨어학부교수로재직중이며,데이터마이닝,인공지능,기계학습,데이터처리및딥러닝응용등의과목을강의하고있다.주로금융/제조IoT/기상/환경/보건의료데이터분석및AI응용의사결정지원시스템연구개발과제를수행해왔으며,대학(원)과정의SW프로그래밍교육에관심과열정을쏟고있다.서울대학교전기공학부(학사)를졸업하였으며,(美)텍사스오스틴주립대와코넬대에서전기컴퓨터공학으로각각석사및박사과정을졸업하였다.이후(美)코넬대Post-docFellow,한국과학기술정보연구원책임연구원을거쳐,연세대학교(미래)부임후SW중심대학

사업단부단장을역임해왔다.삼성전자,KT,효성,롯데그룹등기업을대상으로강연하며,집필서로는『컴퓨팅사고와소프트웨어with파이썬』(인피니티북스,2022),『C프로그래밍길잡이』(홍릉출판사,2023)등이있다.현재ValuationforData-drivenInformationSystem,LLM,ComputerVision이외에도Multi-modalAI/ML/DLApplications에대한다양한관심으로AI및빅데이터분석연구개발에매진하고있다.



감수:맹윤호

이화여대신산업융합대학겸임교수로데이터분석및AI강의를하고있으며,카논그룹의CTO로재직중이다.이전에는IBM의Data&AI팀에서엔지니어로근무했으며,이후카카오벤처스패밀리사인1zLabs를공동창업한후,지분을매각한바있다.연세대학교에서데이터분석전공으로석사과정을졸업하고박사과정을수료했다.SKC&C,KISTI,NRF,DBpia등에서프로젝트를진행하였으며ApacheZeppelin,Qiskit,KoGPT-2등오픈소스프로젝트에기여했다.삼성,현대,LG,딜로이트등기업을대상으로강연하고연세대학교,이화여대,중앙대학교,동덕여대,상명대학교,순천대학교등에서도강연했다.참여도서로는『머신러닝디자인패턴』(한빛미디어,2021),『Doit강화학습입문』(이지스퍼블리싱,2021),『코딩진로』(호모루덴스,2021),『초소형머신러닝TINYML』(한빛미디어,2020),『쉽게배우는AWSAI서비스』(한빛미디어,2022),『하이퍼레저블록체인개발』(한빛미디어,2019),『블록체인의정석』(지앤선,2019)등이있다.깃허브에서@YUNHO0130으로활동하고기술블로그와유튜브채널을운영하고있다.

CHAPTER1딥러닝을위한선형대수학기초
1.1데이터구조와연산
__1.1.1행렬연산
__1.1.2벡터연산
__1.1.3행렬-벡터곱셈
1.2기본공간
__1.2.1열공간
__1.2.2영공간
1.3고유벡터와고유값
요약

CHAPTER2확률기초
2.1사건과확률
2.2조건부확률
2.3확률변수
2.4기댓값
2.5분산
2.6베이즈정리
2.7엔트로피,교차엔트로피및KL발산
2.8연속확률분포
요약60

CHAPTER3신경망
3.1지능형머신구축
3.2전통적인컴퓨터프로그램의한계
3.3머신러닝동작원리
3.4뉴런
3.5뉴런으로나타낸선형퍼셉트론
3.6순방향신경망
3.7선형뉴런과그한계
3.8시그모이드뉴런,Tanh뉴런,ReLU뉴런
3.9소프트맥스출력레이어
요약

CHAPTER4순방향신경망훈련
4.1패스트푸드문제
4.2경사하강법
4.3델타규칙과학습률
4.4시그모이드뉴런을이용한경사하강법
4.5역전파알고리즘
4.6확률적경사하강법과미니배치경사하강법
4.7테스트셋,검증셋,과적합
4.8심층신경망과적합방지

CHAPTER5PyTorch기반신경망구현
5.1PyTorch소개
5.2PyTorch설치
5.3PyTorch텐서
__5.3.1텐서초기화
__5.3.2텐서속성
__5.3.3텐서연산
5.4PyTorch에서의경사
5.5PyTorchnn모듈
5.6PyTorch데이터셋과데이터로더
5.7PyTorch에서MNIST분류기구축
요약

CHAPTER6경사하강법
6.1경사하강법의도전과제
6.2심층신경망오차표면의극소점
6.3모델식별성
6.4심층신경망에서가짜극소점이미치는영향
6.5오차표면의평평한영역
6.6경사방향이잘못된경우
6.7모멘텀기반최적화
6.8간략한이차근사방법개요
6.9학습률적응
__6.9.1AdaGrad:경사누적알고리즘
__6.9.2RMSProp:경사지수가중이동평균
__6.9.3Adam:모멘텀과RMSProp의결합
6.10옵티마이저선택의철학
요약

CHAPTER7합성곱신경망
7.1인간시각에서의뉴런
7.2피처선택의한계
7.3기본심층신경망의확장한계
7.4필터와피처맵
7.5합성곱레이어에대한상세설명
7.6맥스풀링
7.7합성곱신경망아키텍처상세설명
7.8합성곱신경망으로MNIST문제해결
7.9이미지전처리파이프라인으로더욱강건한모델지원
7.10배치정규화를통한훈련가속화
7.11메모리제약이있는학습작업을위한그룹정규화
7.12CIFAR-10을위한합성곱신경망구축
7.13합성곱신경망에서학습시각화
7.14복잡한심층신경망을위한잔차학습과스킵연결
7.15인간을초월한시각을지닌잔차신경망구축
7.16합성곱필터를활용한예술스타일재현
7.17다른문제도메인에적용되는합성곱필터학습
요약

CHAPTER8임베딩과표현학습
8.1저차원표현학습
8.2주성분분석
8.3오토인코더아키텍처의필요성
8.4PyTorch에서오토인코더구현
8.5노이즈에강한표현을위한디노이징
8.6오토인코더에서의희소성
8.7입력벡터보다컨텍스트에서더많은정보를제공하는경우
8.8Word2Vec프레임워크
8.9Skip-Gram아키텍처구현
요약

CHAPTER9시퀀스분석모델
9.1가변길이입력분석
9.2신경망N-Gram으로seq2seq처리
9.3품사태거구현
9.4의존성파싱과SyntaxNet
9.5빔서치와전역정규화
9.6스테이트풀딥러닝모델사례
9.7순환신경망
9.8경사소실의문제점
9.9장단기메모리유닛
9.10RNN모델을위한PyTorch기본요소
9.11감정분석모델구현
9.12순환신경망으로seq2seq작업해결
9.13어텐션으로순환신경망증강
9.14번역신경망분석
9.15셀프어텐션과트랜스포머
요약

CHAPTER10생성모델
10.1생성적적대신경망
10.2변이형오토인코더
10.3변이형오토인코더구현
10.4점수기반생성모델
10.5디노이징오토인코더와점수매칭
요약

CHAPTER11해석가능성방법론
11.1개요
11.2결정트리와트리기반알고리즘
11.3선형회귀
11.4피처중요도평가방법
__11.4.1순열피처중요도
__11.4.2부분의존도그래프
11.5추출적합리화
11.6LIME
11.7SHAP
요약

CHAPTER12메모리증강신경망
12.1신경망튜링머신
12.2어텐션기반메모리접근
12.3NTM메모리주소지정메커니즘
12.4미분가능신경망컴퓨터
12.5DNC에서의간섭없는쓰기
12.6DNC메모리재사용
12.7DNC쓰기의시간적연결
12.8DNC읽기헤드이해
12.9DNC컨트롤러신경망
12.10동작중인DNC시각화
12.11PyTorch에서DNC구현하기
12.12DNC에독해를가르치기
요약

CHAPTER13강화학습
13.1Atari게임을마스터한심층강화학습
13.2강화학습소개
13.3마르코프결정과정
__13.3.1정책
__13.3.2미래보상
__13.3.3할인된미래보상
13.4탐색과활용비교
__13.4.1-그리디
__13.4.2어닐링된-그리디
13.5정책학습과가치학습비교
13.6정책경사를이용하는폴카트
__13.6.1OpenAIGym
__13.6.2에이전트만들기
__13.6.3모델및최적화기구축
__13.6.4샘플링액션
__13.6.5이력추적
__13.6.6정책경사main함수
__13.6.7폴카트에서의PGAgent성능
13.7신뢰영역정책최적화
13.8근접정책최적화
13.9Q러닝과DQN
__13.9.1벨만방정식
__13.9.2가치이터레이션의문제
__13.9.3Q함수근사화하기
__13.9.4DQN
__13.9.5DQN훈련하기
__13.9.6학습안정성
__13.9.7타깃Q네트워크
__13.9.8경험리플레이
__13.9.9Q함수에서정책으로
__13.9.10DQN과마르코프가정
__13.9.11마르코프가정에대한DQN의해법
__13.9.12DQN으로Breakout플레이
__13.9.13아키텍처구축
__13.9.14프레임스태킹
__13.9.15훈련연산설정
__13.9.16타깃Q네트워크업데이트
__13.9.17경험리플레이구현
__13.9.18DQN메인루프
__13.9.19Breakout에대한DQNAgent결과
13.10DQN의개선과그이상의발전
__13.10.1심층순환Q네트워크
__13.10.2비동기우위액터크리틱에이전트
__13.10.3비지도강화및보조학습
요약

최신딥러닝기술의핵심과본질을다루는가이드

딥러닝을깊이있게이해하기위해서는선형대수학,확률등의수학적이론이꼭필요합니다.이책은수식위주의설명으로선형대수학과확률을다루며딥러닝의기본을충실하게다룹니다.딥러닝의주요개념을이해할수있도록상세한설명과예제를제공하며,딥러닝으로어떻게문제에접근해야하는지를다양한각도에서다룹니다.이책을읽고나면현대딥러닝접근방식의역사적맥락을이해하고,파이토치를활용한딥러닝알고리즘을구현하는방법을이해할수있습니다.

이번개정판에서는딥러닝의본질을좀더충실하게이해할수있도록전문용어로어려운설명을최대한배제하고선형대수학과확률과같은수학적배경지식을제공합니다.뿐만아니라시퀀스분석,컴퓨터비전,강화학습내용을업데이트하여최신동향에맞게책의내용을보완하였습니다.또한생성모델링과해석가능성방법론이라는새로운주제를추가하여,딥러닝분야에대한더넓은시각을제공합니다.이책은독자가딥러닝을스스로학습하고실무에적용할수있도록완벽한지침서가될것입니다.

추천사

이책은선형대수학,확률부터신경망,합성곱신경망,그리고강화학습까지체계적으로다루며‘정석’이라는이름에걸맞게한권으로딥러닝기술을마스터할수있는책입니다.실전에서활용가능한완성도높은내용을제공하며,딥러닝분야의first-mover나fast-follower를목표로한다면이책을추천합니다.
-성태응(연세대학교소프트웨어학부교수)

딥러닝입문후더깊게공부하고싶은분들께이책을강력히추천합니다.초반에다루는선형대수학,확률등의수학적내용이책에서술된딥러닝이론설명을이해하는데큰도움이되었습니다.수식위주의설명은딥러닝을더깊이있게이해할수있으며,딥러닝입문서나기초강의를수강한학생들에게추천할만한책입니다.
-이용빈(AIMlab)