심층 강화학습 인 액션 (기본 개념부터 파이썬 기반의 최신 알고리즘 구현까지)

심층 강화학습 인 액션 (기본 개념부터 파이썬 기반의 최신 알고리즘 구현까지)

$33.02
Description
프로젝트로 배우는 심층 강화학습의 이론과 실제!
이 책 《심층 강화학습 인 액션》은 환경이 제공하는 직접적인 피드백에 기반해서 환경에 적응하고 자신을 개선해 나가는 에이전트의 구현 방법을 설명한다. 흐름이 있는 하나의 강좌 형태로 구성된 이 책에서 여러분은 심층 강화학습의 기본 기법과 고급 기법을 미로 탈출이나 비디오 게임 플레이 같은 흥미로운 예제를 통해서 배우게 된다. 그 과정에서 심층 Q 신경망과 정책 기울기 방법을 포함한 여러 핵심 알고리즘을 익힐 수 있고, PyTorch와 OpenAI Gym 같은 업계 표준에 해당하는 라이브러리에도 익숙해질 것이다.
저자

알렉스짜이

심화코딩부트캠프인Codesmith의CTO를역임했고,현재는기술자문으로일한다.또한그는우버의소프트웨어기술자이자Banjo와아마존의기계학습공학자이며,오픈소스심층강화학습프레임워크인아파치MXNet에도기여한다.그리고두개의기업을공동창업하기도했는데,그중한회사는YCombinator에참여했다.

목차

PARTI기초1
CHAPTER1강화학습이란?3
1.1심층강화학습에서‘심층’의의미4
1.2강화학습6
1.3동적계획법과몬테카를로방법9
1.4강화학습의틀12
1.5강화학습으로할수있는일16
1.6왜심층강화학습인가?18
1.7이책의주요설명수단:끈그림21
1.8앞으로의여정22
요약24

CHAPTER2강화학습문제의모형화:마르코프결정과정25
2.1끈그림과이책의교육방식25
2.2여러팔강도문제의해법30
2.3여러팔강도문제를광고배치최적화에적용41
2.4PyTorch로신경망만들기43
2.5문맥적강도문제의해법47
2.6마르코프성질52
2.7향후보상의예측:가치와정책함수55
요약59

CHAPTER3가장나은동작의선택:심층Q신경망(DQN)61
3.1Q함수62
3.2Q학습개요64
3.3파국적망각방지:경험재현85
3.4목표망을이용한안정성개선92
3.5정리99
요약102

CHAPTER4정책기울기방법103
4.1신경망을이용한정책함수구현104
4.2좋은동작의강화:정책기울기알고리즘108
4.3OpenAIGym다루기114
4.4REINFORCE알고리즘117
요약125

CHAPTER5좀더어려운문제풀기:행위자-비평자모형127
5.1가치함수와정책함수의결합129
5.2분산훈련135
5.3이익행위자-비평자141
5.4N-단계행위자-비평자151
요약157

PARTII더높은곳을향하여159
CHAPTER6또다른최적화방법:진화알고리즘161
6.1강화학습의또다른접근방식162
6.2진화를이용한강화학습163
6.3CartPole을위한유전알고리즘172
6.4진화알고리즘의장단점180
6.5규모가변적대안으로서의진화알고리즘182
6.5.6기울기기반접근방식의규모확장189
요약189

CHAPTER7모든가능성의탐색:분포심층Q신경망191
7.1기댓값Q학습의문제점192
7.2다시살펴보는확률과통계197
7.3벨먼방정식204
7.4분포Q학습206
7.5확률분포의비교219
7.6가상의데이터에대한분포DQN225
7.7분포DQN을이용한아타리프리웨이학습231
요약237

CHAPTER8호기심주도탐험239
8.1예측부호화를이용한희소보상문제해결241
8.2역방향동역학예측244
8.3슈퍼마리오브라더스환경설정247
8.4Q신경망전처리250
8.5Q신경망과정책함수설정253
8.6ICM(내재적호기심모듈)257
8.7그밖의내재적보상메커니즘들271
요약274

CHAPTER9다중에이전트강화학습277
9.1단일에이전트에서다중에이전트로278
9.2이웃Q학습282
9.31차원이징모형286
9.4평균장Q학습과2차원이징모형298
9.5혼합협조-경쟁게임309
요약323

CHAPTER10해석가능한강화학습:주의모형과관계모형325
10.1주의와관계편향을이용한기계학습해석성개선326
10.2주의메커니즘을이용한관계추론330
10.3MNIST이미지분류를위한자가주의모형구현342
10.4다중헤드주의모형과관계DQN356
10.5이중Q학습365
10.6훈련과주의시각화367
요약376

CHAPTER11결론:돌아보기와내다보기379
11.1핵심정리380
11.2심층강화학습분야의미개척주제들382
11.3마치며386

APPENDIXA수학,심층학습,PyTorch387
A.1선형대수388
A.2미적분390
A.3심층학습396A.4PyTorch397

참고문헌402
찾아보기406

출판사 서평

프로젝트로배우는심층강화학습의이론과실제!

심층강화학습시스템은새로운환경에빠르게적응한다.이러한능력은기존의표준적인신경망에비해커다란진보에해당한다.사람이뭔가를배우는과정과비슷하게,심층강화학습에이전트는감각정보에해당하는원본데이터를입력받고시행착오를거쳐서자신의반응과예측을정련해나간다.

이책《심층강화학습인액션》은환경이제공하는직접적인피드백에기반해서환경에적응하고자신을개선해나가는에이전트의구현방법을설명한다.흐름이있는하나의강좌형태로구성된이책에서여러분은심층강화학습의기본기법과고급기법을미로탈출이나비디오게임플레이같은흥미로운예제를통해서배우게된다.그과정에서심층Q신경망과정책기울기방법을포함한여러핵심알고리즘을익힐수있고,PyTorch와OpenAIGym같은업계표준에해당하는라이브러리에도익숙해질것이다.

이책의주요내용
■심층강화학습에이전트의구축과훈련
■학습과문제해결에가장널리쓰이는심층강화학습알고리즘
■진화알고리즘,호기심기반학습,다중에이전트학습등의고급주제
■실행가능한파이썬예제코드