그로킹 심층 강화학습 (이론과 실제 사이의 틈을 메우다!)

미겔모랄레스

MiguelMorales
록히드마틴의미사일화기통제및자율시스템부서에서강화학습을활용하며일하고있다.조지아공과대학교에서강화학습및의사결정과관련된강의를했으며,유다시티에서머신러닝프로젝트리뷰어및자율주행강의에서멘토로활동했으며,심층강화학습강의를개발했다.조지아공과대학교에서컴퓨터과학석사과정을수료했고,유기적지능에대해연구했다.

CHAPTER1심층강화학습의기초
1.1심층강화학습이란무엇인가?
1.2심층강화학습의과거와현재그리고미래
1.3심층강화학습의적절성
1.4두가지의명확한기대치설정
1.5요약

CHAPTER2강화학습의수학적기초
2.1강화학습의구성요소
2.2MDP:환경의엔진
2.3요약

CHAPTER3순간목표와장기목표간의균형
3.1의사결정을내리는에이전트의목적
3.2이상적인행동들에대한계획
3.3요약

CHAPTER4정보의수집과사용간의균형
4.1평가가능한피드백해석의어려움
4.2전략적인탐색
4.3요약

CHAPTER5에이전트의행동평가
5.1정책들의가치를추정하는학습
5.2여러단계를통해서추정하는학습
5.3요약

CHAPTER6에이전트의행동개선
6.1강화학습에이전트의구조
6.2행동에대한정책을개선하기위한학습
6.3학습에서행동을분리하기
6.4요약

CHAPTER7조금더효율적인방법으로목표에도달하기
7.1강건한목표를활용한정책개선학습
7.2상호작용,학습그리고계획하는에이전트
7.3요약

CHAPTER8가치기반심층강화학습개요
8.1심층강화학습에이전트가사용하는피드백의유형
8.2강화학습을위한함수근사화
8.3NFQ:가치기반심층강화학습을위한첫번째시도
8.4요약

CHAPTER9조금더안정적인가치기반학습방법들
9.1DQN:강화학습을지도학습처럼만들기
9.2이중DQN:행동-가치함수에대한과도추정극복
9.3요약

CHAPTER10샘플효율적인가치기반학습방법들
10.1듀얼링DDQN:강화학습에초점을맞춘신경망구조
10.2PER:유의미한경험재현에대한우선순위부여
10.3요약

CHAPTER11정책-경사법과액터-크리틱학습법
11.1REINFORCE:결과기반정책학습
11.2VPG:가치함수학습하기
11.3A3C:병렬적정책갱신
11.4GAE:강력한이점추정
11.5A2C:동기화된정책갱신
11.6요약

CHAPTER12발전된액터-크리틱학습법
12.1DDPG:결정적정책에대한근사화
12.2TD3:DDPG를넘어선성능을보이는개선점들
12.3SAC:기대반환값과엔트로피를최대화하기
12.4PPO:최적화과정을제한하기
12.5요약

CHAPTER13범용인공지능을향한길
13.1다룬내용과다루지못한내용
13.2범용인공지능에대한조금더발전된개념들
13.3이후의내용들
13.4요약

부록A구글콜랩에서의실습환경

수학공식부터코드예제까지
모든걸갖춘심층강화학습풀코스
이책은강화학습과심층강화학습이무엇인지이해하고실제로적용해보고싶은사람들을위해기본이론부터실제적용방법까지차례로안내합니다.자세한예제와적절한비유가섞인개념설명으로시작해,해당개념을수학적으로확인할수있는공식들과이를직접만들어볼수있는코드까지제공하며강화학습을떠먹여줍니다.눈과손을통해들어오는설명을하나씩차례대로소화해나가다보면어렵게만느껴졌던심층강화학습이어느새여러분의것이되어있을겁니다.

대상독자
인공지능이란연구영역에익숙하고파이썬코드를볼줄알아야합니다.여기저기있는수학과수많은직관적인설명을이해하며재미있고자세한예제를바탕으로학습하고자하는사람이라면이책을재미있게볼수있습니다.인공지능에대해모르더라도,파이썬코드를읽을줄알고학습에대한흥미만있다면많은내용을얻어갈수있습니다.기본적인딥러닝지식이요구되긴하지만,이책은신경망과역전파방식및관련기법을간단하게복습합니다.결론적으로이책한권에서원하는지식을모두얻어갈수있으며인공지능에이전트를가지고놀고싶은사람이나심층강화학습을깊게이해하려는사람에게좋습니다.

주요내용
● 심층강화학습의기본원리
● 최신심층강화학습기법
● 인간처럼학습하는심층강화학습에이전트개발법
● 복잡한상황에적용할수있는심층강화학습접근법