트랜스포머로 시작하는 자연어 처리 : 자연어 처리 기초부터 BERT, RoBERTa, 코파일럿, GPT-4 모델까지

DenisRothman

저자:DenisRothman
소르본대학(SorbonneUniversity)과파리디드로대학(ParisDiderotUniversity)을졸업하고최초의특허를받은인코딩및임베딩시스템을설계했습니다.모엣샹동(MoetetChandon,프랑스의포도주회사)에서자연어처리(NLP,NaturalLanguageProcessing)챗봇과에어버스(구Aerospatiale,유럽의항공기제작회사)의인공지능전술방어최적화프로그램을개발하며경력을쌓았습니다.
그후IBM및명품브랜드에인공지능자원최적화프로그램을담당하며전세계적으로사용되는사전계획및스케줄링(APS,AdvancedPlanningandScheduling)솔루션으로발전시켰습니다.

역자:김윤기
수학을전공했으나졸업후엔인공지능과관련된코드를읽고쓰는일을했습니다.특히머신러닝기반의자연어처리,추천시스템과관련된업무를담당했습니다.현재는국내테니스유저들의테니스매칭을돕기위해스매시에서개발을하고있습니다.

역자:박지성
울산과학기술원에서컴퓨터공학을전공하고같은학교의BCI연구실에서석사학위를받았습니다.졸업이후에는자연어분석,모델개발등의업무를해오고있습니다.현재는네이버에서미디어데이터를다루고관련AI모델을개발하는일을하고있습니다.

역자:임창대
성균관대학교에서컴퓨터공학을전공하고자연어분석,AI서비스개발등의업무를해오고있습니다.현재는농업플랫폼스타트업인그린랩스에서머신러닝엔지니어로근무하고있습니다.

역자:하헌규
한동대학교에서컴퓨터공학을전공하고,인공지능에대한관심으로GIST에진학하여석사학위를받았습니다.이후자연어처리와관련한다양한프로젝트를경험했습니다.현재는네이버에서인공지능을활용한서비스를만들기위해노력중입니다.

1장트랜스포머란무엇인가?
1.1트랜스포머생태계
1.2트랜스포머로NLP모델최적화
1.3어떤리소스를사용해야하나요?
1.4정리하기
1.5문제
1.6참고문헌

2장트랜스포머모델아키텍처살펴보기
2.1트랜스포머의시작:AttentionisAllYouNeed
2.2학습과성능
2.3허깅페이스의트랜스포머모델
2.4정리하기
2.5문제
2.6참고문헌

3장BERT모델미세조정하기
3.1BERT아키텍처
3.2BERT미세조정하기
3.3정리하기
3.4문제
3.5참고문헌

4장RoBERTa모델처음부터사전학습하기
4.1토크나이저학습하기및트랜스포머사전학습하기
4.2처음부터KantaiBERT구축하기
4.3다음단계
4.4정리하기
4.5문제
4.6참고문헌

5장RoBERTa모델처음부터사전학습하기
5.1트랜스포머의트랜스덕션과귀납적상속
5.2트랜스포머성능vs인간기준값
5.3다운스트림작업실행하기
5.4정리하기
5.5문제
5.6참고문헌

6장트랜스포머를사용한기계번역
6.1기계번역정의하기
6.2WMT데이터셋전처리하기
6.3BLEU로기계번역평가하기
6.4구글번역으로번역하기
6.5트랙스로번역하기
6.6정리하기
6.7문제
6.8참고문헌

7장GPT-3엔진을사용한초인간트랜스포머등장
7.1GPT-3트랜스포머모델을사용한초인간NLP
7.2OpenAIGPT트랜스포머모델의아키텍처
7.3GPT-2를사용한일반텍스트완성
7.4커스텀GPT-2언어모델학습
7.5OpenAIGPT-3작업실행하기
7.6GPT-2와GPT-3의출력비교하기
7.7GPT-3미세조정하기
7.84차산업혁명AI전문가의역할
7.9정리하기
7.10문제
7.11참고문헌

8장법률및금융문서에트랜스포머를적용하여요약하기
8.1범용텍스트투텍스트모델디자인하기
8.2T5를사용해요약하기
8.3GPT-3로요약하기
8.4정리하기
8.5문제
8.6참고문헌

9장데이터셋에적합한토크나이저
9.1데이터셋에적합한토크나이저
9.2특정어휘가포함된표준NLP작업
9.3GPT-3의범위살펴보기
9.4정리하기
9.5문제
9.6참고문헌

10장BERT기반트랜스포머를사용한SRL
10.1SRL(SemanticRoleLabeling,의미역결정)
10.2BERT기반모델을사용한SRL실험
10.3기본예시
10.4어려운예시
10.5SRL적용범위에대한의문
10.6정리하기
10.7문제
10.8참고문헌

11장데이터가말하게하기:스토리,질문,답변
11.1방법론
11.2방법0:시행착오
11.3방법1:NER
11.4방법2:SRL
11.5다음단계
11.6정리하기
11.7문제
11.8참고문헌

12장고객감정을감지해예측하기
12.1SST(StanfordSentimentTreebank)
12.2감성분석으로고객행동예측하기
12.3GPT-3를사용한감성분석
12.44차산업시대에관한몇가지생각
12.5정리하기
12.6문제
12.7참고문헌

13장트랜스포머로가짜뉴스분석하기
13.1가짜뉴스에대한감정반응
13.2가짜뉴스에대한이성적접근법
13.3마치기전에
13.4정리하기
13.5문제
13.6참고문헌

14장블랙박스트랜스포머모델해석하기
14.1BertViz로트랜스포머시각화하기
14.2LIT
14.3딕셔너리러닝을활용한트랜스포머시각화
14.4내부를볼수없는모델분석하기
14.5정리하기
14.6문제
14.7참고문헌

15장NLP부터범용트랜스포머모델까지
15.1모델과생태계선택하기
15.2리포머
15.3DeBERTa
15.4범용모델에서비전트랜스포머까지
15.5확장되는모델세계
15.6정리하기
15.7문제
15.8참고문헌

16장트랜스포머기반코파일럿의등장
16.1프롬프트엔지니어링
16.2코파일럿
16.3도메인별GPT-3엔진
16.4컴퓨터비전
16.5메타버스에서인간과AI코파일럿
16.6정리하기
16.7문제
16.8참고문헌

17장초인간트랜스포머를사용한OpenAI의ChatGPT와GPT-4
17.1ChatGPT와GPT-4에초인간NLP연동하기
17.2ChatGPTAPI시작하기
17.3ChatGPTPlus로코드와주석작성하기
17.4GPT-4API시작하기
17.5고급프롬프트엔지니어링
17.6설명가능한AI(XAI)
17.7DALL-E2API시작하기
17.8모든것을종합하기
17.9정리하기
17.10문제
17.11참고문헌

부록Ⅰ트랜스포머용어설명
Ⅰ.1스택
Ⅰ.2서브층
Ⅰ.3어텐션헤드

부록Ⅱ트랜스포머모델의하드웨어제약사항
Ⅱ.1트랜스포머의아키텍처와규모
Ⅱ.2GPU가특별한이유
Ⅱ.3GPU는병렬연산을위해설계되었다
Ⅱ.4GPU는또한행렬곱셈을위해설계되었다
Ⅱ.5GPU를사용하는코드
Ⅱ.6구글코랩으로GPU테스트하기
Ⅱ.7구글코랩의무료CPU
Ⅱ.8구글코랩의유료CPU

부록ⅢGPT-2를사용한일반텍스트완성
Ⅲ.11단계:GPU활성화
Ⅲ.22단계:OpenAIGPT-2저장소복제하기
Ⅲ.33단계:요구사항설치하기
Ⅲ.44단계:텐서플로우버전확인하기
Ⅲ.55단계:345M파라미터GPT-2모델다운로드하기
Ⅲ.66~7단계:중간지침
Ⅲ.77b~8단계:모델가져오기및정의하기
Ⅲ.89단계:GPT-2와상호작용하기
Ⅲ.9참고문헌

부록ⅣGPT-2를사용해커스텀텍스트완성하기
Ⅳ.1GPT-2모델학습하기
Ⅳ.2참고문헌

부록Ⅴ문제정답

찾아보기

이책은자연어처리와트랜스포머모델의혁신적발전을심도있게탐구한내용으로,AI와NLP분야에서중요한가이드가될것입니다.저자는트랜스포머모델의셀프-어텐션메커니즘과병렬처리능력을통해대규모데이터학습이가능해지는과정을상세히설명합니다.이는NLP작업의판도를바꾸며,언어모델링,챗봇,텍스트요약,음성인식,기계번역등다양한응용분야에서뛰어난성능을발휘합니다.

특히,이책에서파이썬,파이토치,텐서플로우등의도구를사용하여언어이해의핵심요소를다루고,다양한트랜스포머모델의아키텍처를분석합니다.GPT-4와같은대규모모델의학습과응용을통해AI의최신동향을파악할수있으며,소셜네트워크,스트리밍서비스등다양한도메인에서의활용가능성이있다는것을알려줍니다.

또한,이책은단순한기술설명에그치지않고,실제적용사례와코딩예제를통해독자가직접실습해볼수있도록구성되어있습니다.자연어이해를위한딥러닝방법론에중점을두고,다양한응용사례와실습을통해독자의이해를돕습니다.

결론적으로,이책은트랜스포머모델을중심으로한NLP의혁신적발전을이해하고이를실제로적용하는데필요한지식을제공하는필수적인참고서입니다.AI전문가뿐만아니라,NLP에관심있는모든독자에게가치있는정보를제공하며,파이썬프로그래밍에익숙한딥러닝및NLP실무자,데이터분석가,데이터과학자들에게특히유용할것입니다.

옮긴이의말

최근머신러닝에대한관심이높아지고기술이발전함에따라,사람이직접수행하던반복적인작업들이자동화되고해결하지못했던문제들이해결되고있습니다.시간이지남에따라데이터는계속해서축적되고있습니다.이방대한양의데이터를학습하기위해더크고더복잡한모델이계속해서제안되었으며,트랜스포머는그중가장큰혁신을일으켰습니다.이제트랜스포머는모든인공지능분야의기본소양입니다.

이책은트랜스포머의기본개념과작동방식에대한풍부한정보를제공합니다.이책을통해BERT,RoBERTa,GPT-3등다양한트랜스포머모델의장단점과사용사례를탐색하여기계번역,감정분석,가짜뉴스탐지등의문제에활용하는방법을이해할수있습니다.또한블랙박스처럼감춰진트랜스포머모델을해석하는방법을배우고,모델이어떻게결정을내리는지이해하면서모델의신뢰성을높일수있습니다.마지막으로초인간트랜스포머의등장과OpenAI의ChatGPT및GPT-4와같은트랜스포머기술의최신동향에대해알아볼수있습니다.