ChatGPT 원칙과 실습 (대규모 언어 모델의 알고리즘과 나만의 모델 구축)

리우콩,두젠동,투밍,센셩위

출간작으로『ChatGPT원칙과실습』등이있다.

1장.ChatGPT에대해알아보기
1.1ChatGPT의탄생2
1.1.1ChatGPT란?2
1.1.2ChatGPT의역사3
1.2ChatGPT작업흐름4
1.3ChatGPT사용사례5
1.3.1일상작업5
1.3.2코드작성8
1.3.3텍스트생성11
1.3.4사무자동화16
1.4요약18

2장.ChatGPT동작원리19
2.1배경지식20
2.1.1자연어처리의발전과정20
2.1.2대규모언어모델의발전과정24
2.2ChatGPT유사제품30
2.2.1BlenderBot3.030
2.2.2LaMDA33
2.2.3Sparrow36
2.3ChatGPT40
2.3.1사전학습및프롬프트학습단계42
2.3.2결과평가및보상모델링단계45
2.3.3강화학습과자율기46
2.4알고리즘세부사항47
2.4.1데이터레이블링48
2.4.2모델링접근방법48
2.4.3미해결문제49
2.5ChatGPT에대한고찰50
2.6장요약52

3장.사전학습언어모델53
3.1트랜스포머구조54
3.2인코더기반모델57
3.2.1BERT58
3.2.2RoBERTa61
3.2.3ERNIE62
3.2.4SpanBERT66
3.2.5MacBERT68
3.2.6ALBERT69
3.2.7NeZha70
3.2.8UniLM71
3.2.9GLM73
3.2.10ELECTRA75
3.3디코더기반모델77
3.3.1GPT77
3.3.2PaLM78
3.3.3OPT79
3.3.4Bloom81
3.3.5LLaMA81
3.4인코더디코더구조모델83
3.4.1MASS84
3.4.2BART85
3.4.3T586
3.5대화데이터를활용한UniLM모델실습88
3.5.1프로젝트소개88
3.5.2데이터전처리모듈89
3.5.3UniLM모델모듈95
3.5.4모델학습모듈98
3.5.5모델추론모듈108
3.6요약113

4장.기초강화학습115
4.1머신러닝의분류116
4.1.1지도학습116
4.1.2비지도학습117
4.1.3강화학습117
4.2OpenAIGym123
4.2.1OpenAIGymAPI소개124
4.2.2환경프로필125
4.3강화학습알고리즘128
4.3.1Q-러닝알고리즘128
4.3.2SARSA알고리즘131
4.3.3DQN알고리즘134
4.3.4정책그레이디언트알고리즘138
4.3.5액터-크리틱알고리즘142
4.4챕터요약145

5장.프롬프트학습과대규모언어모델의등장147
5.1프롬프트학습148
5.1.1프롬프트학습이란?148
5.1.2프롬프트템플릿디자인149
5.1.3답변공간매핑디자인152
5.1.4학습방법에대한추가팁154
5.2문맥학습155
5.2.1문맥학습이란?155
5.2.2문맥학습능력향상을위한사전교육단계157
5.2.3추론단계로문맥학습최적화159
5.3사고사슬162
5.4실습용단서기반텍스트감정분석170
5.4.1프로젝트프로필170
5.4.2데이터전처리모듈171
5.4.3BERT모델모듈173
5.4.4모델트레이닝모듈177
5.4.5모델추론모듈190
5.5챕터요약194

6장.대규모언어모델의사전학습195
6.1대규모사전학습모델소개196
6.2사전학습된모델의토크나이저196
6.2.1BPE197
6.2.2워드피스200
6.2.3유니그램202
6.2.4SentencePiece203
6.3분산형딥러닝프레임워크205
6.3.1병렬패러다임소개205
6.3.2Megatron-LM214
6.3.3DeepSpeed217
6.3.4거대인공지능(Colossal-AI)220
6.3.5FairScale224
6.3.6ParallelFormers226
6.3.7OneFlow226
6.4실제대규모언어모델을기반으로한사전학습228
6.4.1프로젝트프로필229
6.4.2데이터전처리모듈230
6.4.3모델학습수행234
6.5대규모언어모델에기반한실용적인정보추출245
6.5.1프로젝트프로필246
6.5.2데이터전처리모듈246
6.5.3Freeze파인튜닝모듈251
6.5.4LoRA파인튜닝모듈258
6.5.5P-Tuningv2파인튜닝모듈265
6.6챕터요약272

7장.GPT시리즈모델분석273
7.1GPT-1~GPT-4시리즈모델분석274
7.1.1GPT-1및GPT-2모델274
7.1.2GPT-3모델276
7.1.3GPT-3의파생모델:Code-X280
7.1.4GPT-4모델282
7.2InstructGPT모델분석283
7.2.1모델소개284
7.2.2데이터수집285
7.2.3모델링원칙291
7.2.4모델링토론293
7.3GPT-2모델기반텍스트요약의실제사례293
7.3.1프로젝트프로필293
7.3.2데이터전처리모듈294
7.3.3GPT-2모델모듈297
7.3.4모델학습모듈299
7.3.5모델추론모듈310
7.4챕터요약318

8장.PPO알고리즘과RLHF이론의실제적용사례319
8.1PPO알고리즘소개320
8.1.1그레이디언트정책알고리즘검토320
8.1.2PPO알고리즘의구조322
8.1.3PPO알고리즘의비교및평가326
8.2RLHF프레임워크소개328
8.2.1RLHF내부프로파일링329
8.2.2RLHF가치분석331
8.2.3RLHF문제분석333
8.3PPO기반긍정적텍스트생성프로젝트실행334
8.3.1프로젝트개요및데이터세트분석334
8.3.2데이터전처리모듈335
8.3.3모델훈련모듈338
8.3.4모델생성모듈341
8.3.5모델평가모듈342
8.4질문과성찰344
8.5챕터요약346

9장.클래스ChatGPT를활용한실전예제347
9.1작업설계348
9.2데이터준비349
9.3문제과제생성을위한문서기반수업ChatGPT실습350
9.3.1SFT단계350
9.3.2RM단계362
9.3.3RL단계376
9.4챕터요약393

10장.ChatGPT트렌드395
10.1AI제작컨텐츠동향396
10.1.1AI클라우드엣지협업396
10.1.2AI도구애플리케이션398
10.1.3AI생성제어399
10.1.3AI의사결정지원401
10.2ChatGPT2C애플리케이션시나리오403
10.2.1개인비서403
10.2.2지식멘토405
10.2.3아이디어마켓408
10.2.4감성적도우미412
10.3ChatGPT2B애플리케이션시나리오415
10.3.1지능형고객서비스415
10.3.2오피스도우미417
10.3.3소프트웨어개발420
10.3.4의사결정지원422
10.4업계참조권장사항425
10.5챕터요약426

찾아보기427