확산 모델의 수학 (수학 증명과 알고리즘으로 이해하는 최첨단 데이터 생성 기술)

오카노하라다이스케

(岡野原大輔)
도쿄대학대학원정보이공학계연구과컴퓨터과학전공정보이공학박사.2006년PreferredInfrastructure를공동창업했고,2014년PreferredNetworks를공동창업해대표이사겸최고연구책임자를맡고있다.공저포함12권의AI도서를집필했고,2023년《확산모델의수학》으로32회오카와출판상을받았다.

옮긴이머리말viii
추천사ix
머리말xi
기호일람xv

CHAPTER1생성모델1
1.1생성모델이란무엇인가1
1.2에너지기반모델과분배함수4
1.3학습방법6
1.4고차원에서의다봉분포데이터생성의어려움13
1.5점수:로그우도입력에대한기울기14
__1.5.1랑주뱅몬테카를로방법16
__1.5.2점수매칭18
__1.5.3암묵적점수매칭19
__1.5.4암묵적점수매칭이점수를추정할수있다는증명22
__1.5.5디노이징점수매칭26
__1.5.6디노이징점수매칭이점수를추정할수있다는증명30
__1.5.7잡음이정규분포를따르는경우의증명32
__1.5.8점수매칭방법정리37
요약37

CHAPTER2확산모델39
2.1점수기반모델과디노이징확산확률모델39
2.2점수기반모델40
__2.2.1추정한점수를사용하는랑주뱅몬테카를로방법의문제점40
__2.2.2점수기반모델은여러개의교란후분포의점수를조합한다42
2.3디노이징확산확률모델46
__2.3.1확산과정과역확산과정으로이루어진잠재변수모델46
__2.3.2DDPM의학습51
__2.3.3DDPM에서디노이징점수매칭으로56
__2.3.4DDPM을사용한데이터생성61
2.4SBM과DDPM의신호대잡음비를사용한통일적인구조62
__2.4.1SBM과DDPM의관계62
__2.4.2연속시간모델70
__2.4.3잡음스케줄과관계없이같은해를얻을수있다71
__2.4.4학습가능한잡음스케줄72
요약73

CHAPTER3연속시간확산모델75
3.1확률미분방정식76
3.2SBM과DDPM의SDE표현77
3.3SDE표현의역확산과정80
3.4SDE표현확산모델학습81
3.5SDE표현확산모델표본추출83
3.6확률플로ODE84
__3.6.1확률플로ODE와SDE의주변우도가일치한다는증명86
__3.6.2확률플로ODE의우도계산88
__3.6.3신호와잡음으로나타내는확률플로ODE88
3.7확산모델의특징89
__3.7.1기존잠재변수모델과의관계90
__3.7.2확산모델은학습이안정적이다91
__3.7.3복잡한생성문제를간단한부분생성문제로분해한다92
__3.7.4다양한조건을조합할수있다93
__3.7.5생성의대칭성을자연스럽게도입할수있다94
__3.7.6표본을추출할때스텝수가많아생성속도가느리다95
__3.7.7확산모델로어떻게일반화할수있는지에대한이해가미해결95
요약96

CHAPTER4확산모델의발전97
4.1조건부생성에서의점수97
4.2분류기가이던스98
4.3분류기를사용하지않는가이던스99
4.4부분공간확산모델102
__4.4.1부분공간확산모델의학습104
__4.4.2부분공간확산모델의표본추출106
4.5대칭성을고려한확산모델107
__4.5.1기하와대칭성107
__4.5.2화합물의회전배열110
요약117

CHAPTER5응용119
5.1이미지생성,초해상,보완,이미지변환120
5.2동영상및파노라마생성121
5.3의미추출과변환122
5.4음성의합성과강조123
5.5화합물의생성과회전배열124
5.6적대적섭동에대한강건성향상125
5.7데이터압축126
요약127

APPENDIXA부록129
A.1사전분포가정규분포,우도가선형정규분포인경우의사후확률분포129
A.2ELBO130
A.3신호와잡음을이용한확률플로ODE도출131
A.4조건부생성문제135
A.5디노이징암묵적확산모델137
A.6역확산과정의확률미분방정식증명141
A.7비가우스잡음에의한확산모델146
A.8AnalogBits:이산변수확산모델147

참고문헌149
찾아보기154

수식과그림으로확산모델제대로이해하기

DALL-E2,미드저니,스테이블디퓨전등텍스트로이미지를생성하는인공지능의발달이가져온충격을우리모두목격했다.이러한기술의바탕에있는것이바로확산모델이다.오늘날의생성AI를이해하려면고품질데이터를생성하는확산모델을이해하는것이필수불가결하지만,관련자료는부족한실정이다.
이책은확산모델의기본적인개념부터그발전과정과응용사례를자세히설명한다.수식을더직관적으로이해할수있도록여러그림과그래프를함께제공하며,학습안정성,우도추정,조건부생성등을기존생성모델과비교해살펴봄으로써확산모델을명확히이해할수있다.
이책이더욱특별한이유는일본AI1위업체인PreferredNetworks의최고연구책임자오카노하라다이스케가집필했다는점이다.‘기술을둘러싼풍부한맥락을제공’한다고평가받는베테랑저자이기도한오카노하라다이스케는이책으로32회오카와출판상을수상했다.오늘날인공지능의중심에있는확산모델을제대로이해하고자한다면이책이길잡이가될것이다.

주요내용
● 생성모델의개요와기본개념
● SNR과점수기반모델로이해하는확산모델
● 연속시간확산모델및확산모델의특장점
● 분류기가이던스,부분공간,대칭성등확산모델의발전
● 동영상,음성합성,화합물등확산모델의응용사례