트랜스포머를 활용한 자연어 처리 : 허깅페이스 개발팀이 알려주는 자연어 애플리케이션 구축

루이스턴스톨,레안드로폰베라,토마스울프

저자:루이스턴스톨
허깅페이스의머신러닝엔지니어다.스타트업과기업을위해NLP,위상기반데이터분석(topologicaldataanalysis),시계열분야의머신러닝애플리케이션을만들었다.이론물리학으로박사학위를받고호주,미국,스위스에서연구를수행했다.현재는NLP커뮤니티를위한도구를개발하며이를효율적으로사용하는방법을가르치는일에열중한다.

저자:레안드로폰베라
허깅페이스오픈소스팀의머신러닝엔지니어다.산업분야에서NLP프로젝트를제품화하는데머신러닝스택전반에걸쳐다년의경험을쌓았으며,트랜스포머와강화학습을결합해인기있는파이썬라이브러리TRL을만들었다.

저자:토마스울프
허깅페이스의최고과학책임자이자공동설립자다.그가이끄는팀은NLP연구를촉진하고민주화하는임무를수행한다.허깅페이스를공동설립하기전에물리학박사학위를취득하고나중에법학학위를받았다.한때물리학연구원과유럽변리사로일했다.

역자:박해선
기계공학을전공했으나졸업후엔줄곧코드를읽고쓰는일을했다.지금은MLGDE(MachineLearningGoogleDeveloperExpert)로활동하고있고,머신러닝과딥러닝에관한책을집필하고번역하면서소프트웨어와과학의경계를흥미롭게탐험하고있다.
『Doit!딥러닝입문』(이지스퍼블리싱,2019)을집필하고,『핸즈온머신러닝(2판)』(한빛미디어,2020),『미술관에GAN딥러닝실전프로젝트』(한빛미디어,2019),『파이썬을활용한머신러닝쿡북』(한빛미디어,2019),『머신러닝교과서with파이썬,사이킷런,텐서플로』(길벗,2019),『파이썬라이브러리를활용한머신러닝』(한빛미디어,2019),『케라스창시자에게배우는딥러닝』(길벗,2018),『핸즈온머신러닝』(한빛미디어,2018),『텐서플로첫걸음』(한빛미디어,2016)을우리말로옮겼다.

CHAPTER1트랜스포머소개
_1.1인코더-디코더프레임워크
_1.2어텐션메커니즘
_1.3NLP의전이학습
_1.4허깅페이스트랜스포머스
_1.5트랜스포머애플리케이션둘러보기
__1.5.1텍스트분류
__1.5.2개체명인식
__1.5.3질문답변
__1.5.4요약
__1.5.5번역
__1.5.6텍스트생성
_1.6허깅페이스생태계
__1.6.1허깅페이스허브
__1.6.2허깅페이스토크나이저
__1.6.3허깅페이스데이터셋
__1.6.4허깅페이스액셀러레이트
_1.7트랜스포머의주요도전과제
_1.8결론

CHAPTER2텍스트분류
_2.1데이터셋
__2.1.1허깅페이스데이터셋처음사용하기
__2.1.2데이터셋에서데이터프레임으로
__2.1.3클래스분포살펴보기
__2.1.4트윗길이확인
_2.2텍스트에서토큰으로
__2.2.1문자토큰화
__2.2.2단어토큰화
__2.2.3부분단어토큰화
__2.2.4전체데이터셋토큰화하기
_2.3텍스트분류모델훈련하기
__2.3.1트랜스포머를특성추출기로사용하기
__2.3.2트랜스포머미세튜닝하기
_2.4결론

CHAPTER3트랜스포머파헤치기
_3.1트랜스포머아키텍처
_3.2인코더
__3.2.1셀프어텐션
__3.2.2피드포워드층
__3.2.3층정규화추가하기
__3.2.4위치임베딩
__3.2.5분류헤드추가하기
_3.3디코더
_3.4트랜스포머유니버스
__3.4.1트랜스포머가계도
__3.4.2인코더유형
__3.4.3디코더유형
__3.4.4인코더-디코더유형
_3.5결론

CHAPTER4다중언어개체명인식
_4.1데이터셋
_4.2다중언어트랜스포머
_4.3XLM-R토큰화
__4.3.1토큰화파이프라인
__4.3.2SentencePiece토크나이저
_4.4개체명인식을위한트랜스포머
_4.5트랜스포머모델클래스
__4.5.1바디와헤드
__4.5.2토큰분류를위한사용자정의모델만들기
__4.5.3사용자정의모델로드하기
_4.6NER작업을위해텍스트토큰화하기
_4.7성능측정
_4.8XLM-RoBERTa미세튜닝하기
_4.9오류분석
_4.10교차언어전이
__4.10.1제로샷전이가유용할때
__4.10.2다국어에서동시에미세튜닝하기
_4.11모델위젯사용하기
_4.12결론

CHAPTER5텍스트생성
_5.1일관성있는텍스트생성의어려움
_5.2그리디서치디코딩
_5.3빔서치디코딩
_5.4샘플링방법
_5.5탑-k및뉴클리어스샘플링
_5.6어떤디코딩방법이최선일까요?
_5.7결론

CHAPTER6요약
_6.1CNN/DailyMail데이터셋
_6.2텍스트요약파이프라인
__6.2.1요약기준모델
__6.2.2GPT-2
__6.2.3T5
__6.2.4BART
__6.2.5PEGASUS
_6.3요약결과비교하기
_6.4생성된텍스트품질평가하기
__6.4.1BLEU
__6.4.2ROUGE
_6.5CNN/DailyMail데이터셋에서PEGASUS평가하기
_6.6요약모델훈련하기
__6.6.1SAMSum에서PEGASUS평가하기
__6.6.2PEGASUS미세튜닝하기
__6.6.3대화요약생성하기
_6.7결론

CHAPTER7질문답변
_7.1리뷰기반QA시스템구축하기
__7.1.1데이터셋
__7.1.2텍스트에서답추출하기
__7.1.3헤이스택을사용해QA파이프라인구축하기
_7.2QA파이프라인개선하기
__7.2.1리트리버평가하기
__7.2.2리더평가하기
__7.2.3도메인적응
__7.2.4전체QA파이프라인평가하기
_7.3추출적QA를넘어서
_7.4결론

CHAPTER8효율적인트랜스포머구축
_8.1의도탐지예제
_8.2벤치마크클래스만들기
_8.3지식정제로모델크기줄이기
__8.3.1미세튜닝에서의지식정제
__8.3.2사전훈련에서의지식정제
__8.3.3지식정제트레이너만들기
__8.3.4좋은스튜던트선택하기
__8.3.5옵투나로좋은하이퍼파라미터찾기
__8.3.6정제모델벤치마크수행하기
_8.4양자화로모델속도높이기
_8.5양자화된모델의벤치마크수행하기
_8.6ONNX와ONNX런타임으로추론최적화하기
_8.7가중치가지치기로희소한모델만들기
__8.7.1심층신경망의희소성
__8.7.2가중치가지치기방법
_8.8결론

CHAPTER9레이블부족문제다루기
_9.1깃허브이슈태거만들기
__9.1.1데이터다운로드하기
__9.1.2데이터준비하기
__9.1.3훈련세트만들기
__9.1.4훈련슬라이스만들기
_9.2나이브베이즈모델만들기
_9.3레이블링된데이터가없는경우
_9.4레이블링된데이터가적은경우
__9.4.1데이터증식
__9.4.2임베딩을룩업테이블로사용하기
__9.4.3기본트랜스포머미세튜닝하기
__9.4.4프롬프트를사용한인-컨텍스트학습과퓨-샷학습
_9.5레이블링되지않은데이터활용하기
__9.5.1언어모델미세튜닝하기
__9.5.2분류기미세튜닝하기
__9.5.3고급방법
_9.6결론

CHAPTER10대규모데이터셋수집하기
_10.1대규모데이터셋수집하기
__10.1.1대규모말뭉치구축의어려움
__10.1.2사용자정의코드데이터셋만들기
__10.1.3대용량데이터셋다루기
__10.1.4허깅페이스허브에데이터셋추가하기
_10.2토크나이저구축하기
__10.2.1토크나이저모델
__10.2.2토크나이저성능측정하기
__10.2.3파이썬코드를위한토크나이저
__10.2.4토크나이저훈련하기
__10.2.5허브에사용자정의토크나이저저장하기
_10.3밑바닥부터모델을훈련하기
__10.3.1사전훈련목표
__10.3.2모델초기화
__10.3.3데이터로더구축하기
__10.3.4훈련루프정의하기
__10.3.5훈련실행
_10.4결과및분석
_10.5결론

CHAPTER11향후방향
_11.1트랜스포머확장
__11.1.1규모의법칙
__11.1.2규모확장의어려움
__11.1.3어텐션플리즈!
__11.1.4희소어텐션
__11.1.5선형어텐션
_11.2텍스트를넘어서
__11.2.1비전
__11.2.2테이블
_11.3멀티모달트랜스포머
__11.3.1스피치-투-텍스트
__11.3.2비전과텍스트
_11.4다음목적지는?

자연어처리애플리케이션을만드는큐브,트랜스포머

이책은머신러닝지식을갖춘엔지니어와연구자를대상으로직접모델을구현하며트랜스포머를업무에적용하는실용적인방법을전달한다.트랜스포머를이용하는데필요한기본적인이론과방법을소개한뒤,다국어텍스트의개체명인식(NER)을비롯해텍스트생성,텍스트요약,질문답변(QA)같은목적에맞는다양한자연어처리모델을훈련해본다.다양한트랜스포머모델에표준화된인터페이스를제공하는라이브러리인허깅페이스트랜스포머스를개발한팀의안내를따라내게필요한모델을구축해보자.

대상독자
ㆍ트랜스포머를입맛에맞게조정하고싶은데이터과학자와머신러닝엔지니어
ㆍ자기만의자연어처리애플리케이션을만들고싶은개발자

주요내용
ㆍ텍스트분류,개체명인식등NLP작업을위한트랜스포머모델을빌드및디버깅,최적화하는방법
ㆍ언어간전이학습에트랜스포머를사용하는방법
ㆍ레이블링된데이터가부족한상황에서트랜스포머를적용해모델성능을높이는방법
ㆍ지식정제와양자화,가지치기같은기술을사용한트랜스포머모델효율화방법
ㆍ대규모트랜스포머모델을밑바닥부터훈련하고여러GPU및분산환경으로확장하는방법