의사결정 알고리듬 : 줄리아로 이해하는 에이전트와 강화학습

많은 의사결정은 불확실한 상황에서 이뤄진다. 이 책은 계산 관점에서 이러한 문제를 바라보고 문제를 해결하는 다양한 의사결정 모델의 이론을 설명한다. 책은 각각 결과의 불확실성, 모델의 불확실성, 상태의 불확실성, 상호작용의 불확실성이라는 네 가지 불확실성을 정의한다. 그리고 이 책은 계산 관점에서 이러한 문제를 바라보고 문제를 해결하는 다양한 의사결정 모델의 이론을 설명하며, 각각 결과의 불확실성, 모델의 불확실성, 상태의 불확실성, 상호작용의 불확실성이라는 네 가지 불확실성을 정의한다. 그리고 이러한 불확실을 극복하고 ’현명한’ 결정을 내리기 위한 각 전략과 그 전략의 이론적 설명을 곁들인다.
1부에서 추론부터 살펴보는데, 나이브 베이지, 신뢰 전파, 우도 가중치 샘플링, 가우시안 모델을 사용한 추론을 설명하고 매개변수 학습에서 최대우도 매개변수 학습과 베이지안 매개변수 학습, 비모수적 학습, 결측치를 가진 데이터를 사용한 학습 등을 다룬다. 2부에서는 구조 학습으로 넘어가서 정확한 해의 추구와 함께 근사 가치 함수, 온라인 계획, 전략 검색, 액터-크리틱 기법을 설명한다. 3부는 모델 불확실성에 중점을 두고 있으며, 4부는 상태 불확실성에 중점을 두고 이산 상태분포와 칼만 필터, 입자 필터 등을 살펴본다. 5부는 다중 에이전트를 가진 문제로 확장되며 단순 게임으로부터 내쉬 균형, 그래디언트 상승 등을 살핀다. 부록에서는 앞서 설명한 여러 개념에 대한 정의부터 간략한 증명을 제공한다.