AI 딥 다이브 : 오차역전파부터 확산모델까지, 미래를 만드는 73가지 기술 이야기

오카노하라다이스케

저자:오카노하라다이스케
도쿄대학교정보과학기술대학원컴퓨터과학전공박사과정을2010년수료했다.재학중이던2006년친구들과함께PFI(PreferredInfrastructure)를공동창업했으며2014년에는프리퍼드네트웍스(PreferredNetworks)를창업했다.현재프리퍼드네트웍스의대표이사CER및PFCC(PreferredComputationalChemistry)의대표이사사장으로재직중이다.

역자:정원창
전자공학과전산학을공부하고국내외의크고작은하드웨어와소프트웨어회사에서경험을쌓았다.현재는자연어처리에중점을둔머신러닝엔지니어로일하고있다.옮긴책으로『인사이드머신러닝인터뷰』,『개발자의하루를바꾸는코파일럿&챗GPT』(이상한빛미디어)등이있다.

[1부:지능이란무엇인가,딥러닝이란무엇인가]

1장:인공지능의원리해명
_1.1딥러닝모델학습이잘되는이유
_1.2매니폴드가설:현실세계데이터의모델링기법
_1.3딥러닝이일반화되는이유
_1.4독립성분분석:정보얽힘풀기
_1.5딥러닝이론해석,신경망미해결문제해명을향한진전
_1.6과다파라미터표현신경망과복권가설
_1.7인과와상관:미지의분포에대한일반화가능성
_1.8대칭성이학습에활용되는방식
_1.9머신러닝의새로운거듭제곱법칙:모델이클수록일반화능력과샘플효율향상
_1.10강건한모델의과다파라미터표현필요성

2장:사람의학습
_2.1뇌의오차역전파여부
_2.2뇌의학습시스템

[2부:학습기법]

3장:학습기법
_3.1학습의엔진:수리최적화Adagrad,RMSProp,Adam
_3.2랜덤푸리에피처함수:규모가큰문제에도커널기법적용가능
_3.3정규화:일반화능력얻기
_3.4오차역전파기법에의한기댓값최대화
_3.5오차역전파를사용하지않는학습기법:FeedbackAlignment,SyntheticGradient,TargetProp
_3.6연속학습:과거의학습결과를잊지않고새로운작업학습
_3.7예측학습
_3.8진화전략
_3.9메타학습:학습방법을학습하는MAML과뉴럴프로세스
_3.10음함수미분:경삿값계산에서계산그래프를워프
_3.11비지도표현학습:다른뷰간상호정보량최대화
_3.12지식증류:거대모델의지식추출
_3.13마스크오토인코더:이미지인식에서사전학습혁명의가능성

4장:강화학습
_4.1강화학습:피드백으로부터최적행동획득
_4.2월드모델:상상속에서의학습가능성
_4.3안전이보장되는강화학습:랴푸노프함수로제약을만족시키는폴리시도출
_4.4미래예측에기반한플래닝,학습화시뮬레이터와몬테카를로트리탐색
_4.5오프라인강화학습:데이터주도형학습

5장:고속화,저전력화,인프라
_5.1심층신경망학습의고속화가능성
_5.2모바일향신경망:추론시전력효율향상3가지방안
_5.3AI연구의뼈아픈교훈
_5.4MN-3/MN-Core:세계최고의저소비전력슈퍼컴퓨터

[3부:모델과아키텍처]

6장:생성모델
_6.1적대적생성신경망:신경망을경합시켜생성모델단련
_6.2VW:재귀확률적신경망에의한생성과인식수행
_6.3Glow:가역적생성모델,GAN보다안정적으로학습가능한가능도기반기법
_6.4셀프어텐션메커니즘:이미지생성,기계번역등많은문제에서최고정확도달성
_6.5연속다이내믹스표현가능신경망
_6.6정규화계층:신경망학습의안정화,고속화,일반화
_6.7에너지기반모델:노이즈복원을통한생성모델학습
_6.8트랜스포머:모든작업의표준네트워크아키텍처가될가능성
_6.9이산화생성모델
_6.10Perceiver:다양한입출력에대응가능한신경망

7장:기억의얼개
_7.1FastWeight:어텐션으로단기기억실현
_7.2미분가능신경컴퓨터:외부기억을갖춘신경망

[4부:애플리케이션]

8장:이미지
_8.1이미지인식에서높은성과를올린CNN:분류오류가매년절반가까이감소
_8.2GLOM：파싱트리에의한이미지인식의실현가능성

9장:음성
_9.1웨이브넷:자연스러운음성및음악생성을위한신경망

10장:공간생성/인식
_10.1GenerativeQueryNetwork:이미지로부터3차원구조를이해하여생성
_10.2자기지도학습에의한깊이와자기이동추정
_10.33차원형상표현기법
_10.4이미지로부터3차원장면이해:국소피처량기반이미지매칭
_10.5사람이나동물의공간이해메커니즘의AI활용가능성
_10.6RotationAveraging:빠르고최적인자세추정실현
_10.7DROID-SLAM:순차적수정으로환경에대응
_10.8NDF:적은지도학습데이터로학습가능한물체나3차원환경의동변표현

11장:언어
_11.1seq2seq：텍스트에서텍스트를생성하는신경망
_11.2언어의창발:기계간커뮤니케이션가능성
_11.3자유로운말로로봇에게지시
_11.4BERT:언어이해의사전학습

12장:제어
_12.1확률적제어:부정확한제어가돕는학습
_12.2온라인학습과최적제어,미지의노이즈에도강건한제어기법

13장:시뮬레이션
_13.1AI에의한시뮬레이션의진화
_13.2시뮬레이션기반추론:관측으로부터귀납적파라미터추정
_13.3딥러닝을사용하는물리시뮬레이션고속화
_13.4매틀란티스:AI를사용한범용원자레벨시뮬레이터

14장:게임
_14.1알파고:CNN과강화학습을조합한컴퓨터바둑
_14.2알파고제로:제로베이스에서학습하여인간을초월
_14.3알파스타:다양성이있는학습환경에서고도의스킬획득

15장:바이오생명과학
_15.1알파폴드:50년간의생명과학그랜드챌린지해결

16장:로봇
_16.1전자동정리로봇시스템개발.고정밀도객체인식기반정리
_16.2도메인무작위화

참고문헌
찾아보기

73가지핵심키워드로정리하는AI기술의모든것

현재의AI연구성과는오랜기간에걸쳐순차적,연속적으로발전해온산물입니다.이책은딥러닝의여명기부터최근의생성AI에이르기까지주요AI기술의흐름을73개주제로나눠설명하는종합해설서입니다.특히시간의흐름에따른최신AI기술트렌드를포괄적이면서도깊이있게통찰할수있습니다.

시류를크게타지않으면서도핵심을꿰뚫는주요개념들만모아정리해자연스럽게미래에대한정확한예측으로연결할수있습니다.현재전세계의AI기술이어떻게발전하고있는지,최첨단기업과연구자들이AI기술의신비를어떻게풀고활용하려하는지파악할수있는책입니다.기술트렌드를전체적으로훑어보기를원하는분야종사자,현업AI/ML개발자에게특히유익합니다.

주요내용
-지능과딥러닝:AI작동원리,머신러닝과딥러닝,인간의두뇌와학습
-학습기법:학습엔진,정규화,강화학습,고속화,저전력화,인프라
-모델과아키텍처:생성모델,기억과신경망
-애플리케이션:이미지,음성,공간생성및인식,언어,제어,시뮬레이션,게임,생명과학,로봇

과거와현재의AI좌표를확인하고미래로향하는길전망하기

이책은2015년부터일본잡지<닛케이로보틱스>에연재된글을모아편집한것으로,AI분야의최신발전과주요연구결과를신속하고깊이있게다룹니다.저자는최근AI기술발전의특징으로속도,무경계성,창의성을꼽았으며,이러한특징들이책전반에걸쳐잘반영되어있습니다.

내용은1)지능과딥러닝의본질,2)학습기법,3)모델과아키텍처,4)애플리케이션의4개부(Part)로구성되어있습니다.각부마다상세주제를여러장(chapter)에나눠다루는데,딥러닝의기본원리부터강화학습,생성모델,이미지,음성,언어처리등다양한응용분야에이르기까지폭넓게설명합니다.

AI와딥러닝에대한기초적인이해부터최신연구동향까지포괄적으로다루는책인만큼,초보자부터전문가에이르기까지다양한독자층에게유용한정보를제공합니다.특히이론적설명과함께실제적용사례를풍부하게포함하고있어,독자들이AI기술의실질적인활용방법을이해하는데도움을줍니다.

이책의가치는여러업계전문가들의추천사를통해더크게드러납니다.AI기술의기초부터심화내용까지체계적으로다루고있으므로,AI시대를준비하는모든이에게필수적인가이드가될것입니다.또한,AI의기본개념을이해한독자들이더깊이있는연구를진행하는데필요한가교역할을할것으로기대됩니다.