안녕, 트랜스포머 (BERT에서 시작하는 자연어 처리 레시피)

이진기

안랩의보안관제엔지니어로IT업계에발을들였다.그러던중2015년에데이터분석을공부하기위해영국의워릭대학교(TheUniversityofWarwick)로석사유학을떠났다.석사취득후에는안랩에서보안관제를위한머신러닝/AI서비스를연구하고개발했다.현재는포스코ICT의AI기술그룹에서컴퓨터비전프로젝트를연구하고있다.

1장다음단어는요?언어모델
__1.1.언어모델은확률게임
__1.2.N-gram언어모델
____1.2.1.텍스트전처리
____1.2.2.제로카운트해결하기
____1.2.3.N-gram모델학습하기
____1.2.4.N-gram언어모델의한계
__1.3.Word2Vec기반의언어모델
__1.4.RNN기반의언어모델
__1.4.1.RNN의구조
__1.4.2.GRU언어모델구현하기
__1.4.3.GRU언어모델로문장생성하기

2장집중해보자!어텐션
__2.1.하나의벡터로모든정보를담는RNN
__2.2.왜어텐션(Attention)하지않지?
__2.3.어떻게어텐션(Attention)하지?
____2.3.1.묻고참고하고답하기
____2.3.2.어텐션계산해보기
____2.3.3.어텐션구현하기
____2.3.4모델링학습하기

3장안녕,트랜스포머
__3.1.트랜스포머의구조
__3.2.트랜스포머구현하기
____3.2.1.인코더
__3.3.WhyTransformer
__3.4.트랜스포머학습결과
____3.4.1.Perplexity(PPL)
____3.4.2.BLEU스코어

4장중간부터학습하자!사전학습과파인튜닝
__4.1.사전학습과Fine-Tuning
__4.2.BERT
____4.2.1.BERT의모델구조와이해하기
____4.2.2.BERT모델의입력이해하기
____4.2.3.사전학습이해하기
____4.2.4.MaskedLanguageModel(MLM)
____4.2.5.NextSentencePrediction(NSP)
____4.2.6.사전학습을위한데이터셋준비와Self-supervisedLearning
____4.2.7.사전학습파헤치기
____4.2.8.사전학습정리하기
____4.2.9.Fine-Tuning이해하기
____4.2.10.텍스트분류모델로파인튜닝하기
____4.2.11.질의응답모델로파인튜닝하기
__4.3.GPT
____4.3.1.GPT의사전학습
____4.3.2.MaskedSelf-Attention
__4.4.RoBERTa
____4.4.1.정적또는동적마스킹전략
____4.4.2.NSP전략
____4.4.3.배치사이즈와데이터셋크기
__4.5.ALBERT
____4.5.1.FactorizedEmbeddingParameterization
____4.5.2.Cross-layerParameterSharing
____4.5.3.SentenceOrderPrediction(SOP)
____4.5.4.ALBERT정리
__4.6.ELECTRA
____4.6.1.학습구조
____4.6.2.RTD
__4.7.DistilBERT
____4.7.1.지식증류
____4.7.2.DistilBERT의구조와성능비교
__4.8.BigBird
____4.8.1.전체문장에대한어텐션,글로벌어텐션
____4.8.2.가까운단어에만집중하기,로컬어텐션
____4.8.3.임의의토큰에대한어텐션,랜덤어텐션
____4.8.4.토큰길이에따른연산량비교
__4.9.리포머
____4.9.1.트랜스포머구조의문제점
____4.9.2.LSH어텐션
____4.9.3.Reversible트랜스포머
__4.10.GLUE데이터셋
____4.10.1.CoLA
____4.10.2.SST-2데이터셋
____4.10.3.MRPC
____4.10.4.QQP
____4.10.5.STS-B
____4.10.6.MNLI
____4.10.7.QNLI
____4.10.8.RTE
____4.10.9.WNLI
____4.10.10.GLUE데이터셋의평가지표

5장어떻게배우지?메타러닝
__5.1.학습을위한학습,메타러닝
__5.2.메타러닝을이용한Amazon리뷰감정분류학습하기
____5.2.1.데이터셋과데이터로더만들기
__5.3.GPT2에서의메타러닝
____5.3.1.GPT2를학습하기위한접근방법
____5.3.2.GPT2의학습데이터셋과멀티태스크
____5.3.3.GPT2성능평가결과
____5.3.4.GP2를통한문장생성
____5.3.5.GPT2를이용한퓨샷러닝

부록.양자화
__1.1.양자화에대한수학적인이해와코드구현
__1.2.양자화된행렬을이용한행렬곱셈과덧셈
__1.3.동적양자화와정적양자화
__1.4.BERT양자화하기

◈이책에서다루는내용◈

◆N-gram을이용한자연어처리기법
◆자연어처리를위한RNN기반의AI모델구조및장단점
◆어텐션네트워크의탄생배경과핵심원리
◆어텐션네트워크를활용한트랜스포머의구조
◆BERT의구조및사전학습/파인튜닝방법
◆BERT이후의AI모델들
◆자연어처리에대한메타러닝방법

◈이책의대상독자◈

어느정도파이썬코드를읽고구현할수있으며머신러닝에대한기초역량이있는독자를대상으로저술했다.파이썬을접해본적없거나머신러닝에입문하는독자가공부하기에어려울수있다.

◈이책의구성◈

1장에서는언어모델에관한내용을다뤘다.언어모델이무엇인지확률적으로정의한후,N-gram기법을이용해서언어모델을설명하고그과정을코드를통해구현했다.또한N-gram이후에오랫동안사용됐던인공지능모델인RNN계열의인공지능모델도설명했다.RNN계열의언어모델도간단하게학습해볼수있도록샘플코드를구현했다.
2장에서는어텐션에대해서자세하게다뤘다.어텐션은트랜스포머의핵심을이루는연산이다.어텐션연산을RNN계열에추가했을때어떠한장점이있는지설명했\하고관련된샘플코드도공부해볼수있도록구현했다.
3장부터본격적으로트랜스포머의구조를다뤘다.2장에서다룬어텐션을기반으로트랜스포머를어떻게구현했는지구조적으로설명했다.
4장에서는BERT모델에대해서설명했다.BERT를사전학습하는방법에대해서소개했고,사전학습된모델을파인튜닝하는방법에대해서도소개하며또한BERT이후에발표된개선된모델도몇가지소개했다.
5장에서는GPT계열의모델을설명했다.GPT2에서부터는메타러닝의개념이추가된다.자연어처리에서메타러닝이왜필요하고어떤방법으로학습되는지소개했다.다만GPT2/GPT3의정확한학습방법은공개되지않았기때문에학습과정은코드로구현하지못했다.
마지막으로부록에서는딥러닝모델의양자화에대해서살펴본다.딥러닝모델의성능이비약적으로발전했지만그와동시에모델의연산량과파라미터수도굉장히많아졌다.큰모델을간단하게경량화할수있는방법으로양자화가있다.부록에서는양자화의기본원리에대해서다루고4장에서살펴본BERT를파인튜닝해서학습한분류모델을경량화하는내용을다룬다.