자연어처리 바이블 (ChatGPT 핵심기술)

임희석,고려대학교자연어처리연구실

2008년부터고려대학교컴퓨터학과교수로재직중이다.1992년고려대학교컴퓨터학과를졸업하고,97년동대학원에서박사학위를받았다.한국컴퓨터교육학회논문지의편집위원장을역임하였으며,현재HumaninspiredAI연구소장과한국융합학회부회장으로활동중이다.주요연구분야는자연어처리,인공지능,정보검색,뇌신경언어처리이다.저서로는알기쉬운컴퓨팅사고력(HumanScience,2017년),컴퓨팅사고력과일상의빅데이터(HumanScience,2016년),도와주세요!아이폰이생겼어요(시리즈)(한빛미디어,2010년~11년),번역서로는검색엔진:최신정보검색론(HumanScience,2011년),C++를이용한데이터구조및알고리즘분석(홍릉과학출판사,2010년)이있으며,중학교정보교과서(천재교육,2017년),고등학교정보교과서(천재교육,2017년),중학교정보교과서(비상교육,2018년)그리고고등학교정보교과서(비상교육,2018년)를집필하였다.

자연어처리의기본

CHAPTER1 자연어처리의기본 3
1.1 자연어처리란 3
1.2 자연어처리의응용분야 6
1.3 자연어처리는왜어려운가? 8
1.4 자연어처리연구의패러다임 11
1.5 딥러닝을사용하는자연어처리연구 16
참고문헌 19
CHAPTER2 자연어처리를위한수학 21
2.1 확률의기초 21
2.2 MLE와MAP 28
2.3 정보이론과엔트로피 31
참고문헌 36
CHAPTER3 언어학의기본원리 37
3.1 언어학개요 37
3.2 음절,형태소,어절그리고품사 37
3.3 구구조와의존구조 45
3.4 의미론과화용론 47
참고문헌 49
CHAPTER4 텍스트의전처리 51
4.1 비정형데이터내의오류 51
4.2 텍스트문서의변환 53
4.3 띄어쓰기교정방법 55
4.4 철자및맞춤법교정방법 59
참고문헌 62
CHAPTER5 어휘분석(LexicalAnalysis) 63
5.1 형태소분석(MorphologicalAnalysis) 63
5.2 품사태깅 69
5.3 형태소분석및품사태깅기의활용분야 82
참고문헌 83
CHAPTER6 구문분석 85
6.1 구문분석개요 85
6.2 구구조구문분석 88
6.3 의존구문분석 95
6.4 구문분석접근방법의장단점 99
6.5 더알아보기 100
참고문헌 103
CHAPTER7 의미분석 105
7.1 단어와단어의미중의성 105
7.2 단어의미중의성해소기법(WordSenseDisambiguation) 106
7.3 의미역(SemanticRole)분석 112
7.4 의미표현 114
참고문헌 118



PART
II







다양한자연어처리응용







CHAPTER8 개체명인식(NamedEntityRecognition) 123
8.1 개체명인식(NamedEntityRecognition)소개 123
8.2 개체명인식이란 124
8.3 NER시스템 126
8.4 NER평가척도 133
8.5 BIOTaggingScheme 134
8.6 학습코퍼스 134
참고문헌 138
CHAPTER9 언어모델(LanguageModel) 139
9.1 언어모델이란? 139
9.2 통계적언어모델(StatisticalLanguageModel,SLM) 140
9.3 일반화(Generalization) 150
9.4 모델평가와퍼플렉서티(Perplexity) 153
CHAPTER10 정보추출(InformationExtraction) 157
10.1 정보추출이란 157
10.2 정보추출의학습방법 158
10.3 정보추출의접근법 160
10.4 정보추출의하위작업 165
참고문헌 168
CHAPTER11 Question&Answering 171
11.1 질의응답(Question&Answering)이란 171
11.2 정보검색기반질의응답(IRbasedquestionanswering) 172
참고문헌 182
CHAPTER12 기계번역(MachineTranslation) 185
12.1 기계번역이란 185
12.1 규칙기반기계번역 188
12.3 통계기반기계번역 190
12.4 인공신경망기계번역 197
12.5 기계번역하위분야소개 198
참고문헌 200
CHAPTER13 자연어생성 203
13.1 배경 203
13.2 지도학습기반자연어생성 205
13.3 강화학습기반자연어생성 209
13.4 적대학습기반자연어생성 211
13.5 자연어생성에서의디코딩전략 214
13.6 자연어생성응용분야 218
참고문헌 220
CHAPTER14 대화시스템(DialogSystem) 223
14.1 대화시스템개론 223
14.2 대화시스템의분류 232
14.3 대화데이터 234
참고문헌 241
CHAPTER15 문서요약(TextSummarization) 243
15.1 문서요약이란 243
15.2 문서요약방법 244
15.3 접근법 252
15.4 평가 256
참고문헌 258
CHAPTER16 텍스트분류(TextCategorization) 261
16.1 텍스트분류란? 261
16.2 다양한텍스트분류예시 264
16.3 텍스트분류프로세스 267
16.4 텍스트분류,군집화알고리즘 270
16.5 Scikit-Learn 274
16.6 데이터시각화 275
참고문헌 276



PART
III







딥러닝기반의자연어처리







CHAPTER17 딥러닝의소개 281
17.1 딥러닝개요 281
17.2 딥러닝모델의핵심:자동적인계층적자질표상습득 283
17.3 딥러닝시스템구축을위한고려사항:데이터와모델구조 285
17.4 딥러닝모델의뼈대:퍼셉트론 287
17.5 비선형결정경계와활성함수 289
17.6 딥러닝모델의학습 290
참고문헌 291
CHAPTER18 단어임베딩 295
18.1 단어임베딩이란? 295
18.2 분포가설과언어모델링 297
18.3 Word2vec이전의단어임베딩 297
18.4 단어단위임베딩:Word2vec,GloVe,FastText 299
18.5 ELMo이후의임베딩:문장단위임베딩 301
18.6 한국어의단어임베딩과입력의최소단위 305
18.7 최신연구동향 306
참고문헌 307
CHAPTER19 CNN(ConvolutionalNeuralNetworks) 311
19.1 CNN개념 311
19.2 CNN을이용한문장분류 316
참고문헌 321
CHAPTER20 순환신경망(RecurrentNeuralNetworks,RNN) 323
20.1 기본순환신경망(VanillaRecurrentNeuralNetworks) 323
20.2 응용순환신경망(AdvancedRecurrentNeuralNetworks) 327
20.3 순환신경망기반자연어생성 333
참고문헌 335
CHAPTER21 딥러닝기반한국어형태소분석과품사태깅 337
21.1 형태소분석품사태깅개요 337
21.2 KoNLPy형태소분석도구소개[21-1] 338
21.3 딥러닝이전의형태소분석,품사태깅소개 338
21.4 딥러닝기반형태소분석,품사태깅소개 339
참고문헌 343
CHAPTER22 딥러닝기반한국어단어의미분석 345
22.1 한국어의미역분석 345
22.2 심층학습기반단어중의성해소 349
참고문헌 354
CHAPTER23 딥러닝기반의자연어처리 355
23.1 딥러닝기반NER 355
23.2 단어단위의구조 355
23.3 문자단위의구조 356
23.4 단어+문자단위의구조 357
참고문헌 358
CHAPTER24 딥러닝기반의질의응답(QuestionAnswering) 359
24.1 딥러닝기반질의응답(QuestionAnswering) 359
24.2 딥러닝기반질의응답(QuestionAnswering)모델 361
24.3 시각질의응답(VisualQuestionAnswering,VQA) 364
24.3 상식질의응답(CommonsenseQA) 368
참고문헌 372
CHAPTER25 딥러닝기반기계번역 375
25.1 딥러닝기반기계번역의흐름 375
25.2 SequencetoSequence구조와인코더디코더 377
25.3 RNN기반NeuralMachineTranslation 379
25.4 Attention기반NMT 380
25.5 Transformer기반NMT 383
25.6 CrossLingual언어모델기반NMT 392
25.7 딥러닝기반기계번역의하위분야 396
참고문헌 402
CHAPTER26 딥러닝기반문장생성 405
26.1 순환신경망언어모델을이용한문장생성 406
26.2 셀프어텐션기반언어모델을이용한문장생성 409
참고문헌 413
CHAPTER27 딥러닝기반문서요약(TextSummarization) 415
27.1 딥러닝기반문서요약의동향 415
27.2 딥러닝기반의추상요약 416
참고문헌 426
CHAPTER28 딥러닝기반대화시스템 427
28.1 목적지향대화시스템(Task-OrientedDialogueSystem) 428
28.2 비목적지향대화시스템(챗봇시스템) 433
참고문헌 439
CHAPTER29 딥러닝을이용한SNS(SocialNetworkService)분석 441
29.1 SNS 441
29.2 SNS분석 443
29.3 SNS분석기법 444
참고문헌 451
CHAPTER30 응용:이미지캡션생성 453
30.1 이미지캡션생성개요 453
30.2 이미지캡션생성과정 456
30.3 이미지캡션생성모델:Show&Tell 459
30.4 훈련에따른성능변화 463
30.4 결론 466
참고문헌 466
CHAPTER31 가짜뉴스탐지 467
31.1 가짜뉴스탐지개요 467
31.2 가짜뉴스정의 468
31.3 딥러닝기반의가짜뉴스탐지발전방향 469
31.4 딥러닝기반가짜뉴스탐지향후과제 475
참고문헌 477
CHAPTER32 PLM,Transformer 479
32.1 트랜스포머(Transformer) 479
32.2 인코더-디코더 480
32.3 BERT 482
32.4 Transformer기반언어모델 485
32.5 사전학습모델 488
참고문헌 498
실습 499