101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치 (누구나 쉽게 따라하는 트랜스포머 모델 실습)

조슈아K.케이지

와세다대학에서SchoolofFundamentalScienceandEngineering을전공했다.관심연구분야로는컴퓨터네트워크보안,데이터마이닝,머신러닝,딥러닝등이있다.

01장파이프라인
_문제001구글코랩환경설정
_문제002감성분석
_문제003질의응답

02장DistillBERT파인튜닝및평가
_사전준비:GPU설정
_문제004IMDB데이터세트
_문제005레이블인코딩
_문제006학습및검증데이터세트분리
_문제007토크나이징및인코딩
_문제008데이터세트클래스생성
_문제009사전학습모델불러오기
_문제010TrainingArguments설정
_문제011GPU로전송
_문제012Trainer클래스사전학습
_문제013파이토치사전학습

03장모델성능평가
_예측성과지표
_문제014정확도
_문제015재현율,정밀도,F1값
_문제016분류리포트

04장GPT를활용한작문
_문제017GPT-Neo작문환경설정
_문제018GPT-Neo토크나이징
_문제019GPT_Neo작문
_문제020DistilGPT2환경설정
_문제021DistilGPT2작문
_문제022DialoGPT환경설정
_문제023DialoGPT작문

05장MLM
_문제024BERT로딩MLM파이프라인
_문제025DistilBERT로딩MLM파이프라인
_문제026ALBERT로딩MLM파이프라인

06장CLIP-이미지인식과자연어처리연동
_CLIP란?
_문제027CLIP모듈설치
_문제028샘플이미지데이터세트
_문제029CLIP기반사전학습모델불러오기
_문제030CLIP기반사전학습모델신경망구조
_문제031CLIP전처리
_문제032전처리후이미지확인
_문제033인코딩및디코딩
_문제034CLIP추론
_문제035CLIP추론에서로짓추출
_문제036CLIP캡션예측결과

07장Wav2Vec2자동음성인식
_문제037Wav2Vec2모듈설치
_문제038Wav2Vec2사전학습모델불러오기
_문제039자동음성인식데이터세트불러오기
_문제040코랩에서오디오데이터확인
_문제041Wav2Vec2전처리
_문제042Wav2Vec2자동음성인식실행

08장BERT다중클래스분류
_문제043다중클래스분류용BERT사전학습모델불러오기
_문제044데이터세트준비
_문제045파인튜닝없는BERT분류
_문제046BERT분류파인튜닝
_문제047파인튜닝BERT모델학습과정시각화
_문제048파인튜닝후BERT분류
_문제049분류정확도

09장BART자동요약
_문제050BART라이브러리설정및사전학습모델불러오기
_문제051정규식활용전처리
_문제052학습모델이전에BART토크나이징
_문제053BART토크나이징결과를넘파이어레이로변경
_문제054BART추론
_문제055BART추론결과디코딩

10장BERT앙상블학습
_문제056BERT앙상블학습라이브러리설정
_문제057BERT앙상블데이터세트준비
_문제058BERT앙상블클래스정의
_문제059앙상블트레이닝에사용할사전학습BERT불러오기
_문제060BERT앙상블학습-데이터증강
_문제061BERT앙상블학습-커스텀데이터세트정의
_문제062BERT앙상블학습-DataLoader
_문제063BERT앙상블파인튜닝
_문제064학습데이터세트를활용한BERT앙상블학습및예측
_문제065학습데이터세트이외의BERT앙상블학습및예측

11장BigBird
_문제066BigBird라이브러리설정및사전학습모델불러오기
_문제067BigBird추론용데이터세트준비
_문제068BigBird토크나이징및인코딩
_문제069BigBird추론

12장PEGASUS
_문제070PEGASUS라이브러리설정및사전학습모델불러오기
_문제071토크나이징및인코딩
_문제072PEGASUS자동요약

13장M2M100자동번역
_문제073M2M100라이브러리설치및사전학습모델불러오기
_문제074M2M100번역소스로중국어텍스트준비
_문제075소스언어M2M100토크나이징
_문제076M2M100중국어/영어자동변역
_문제077generate메서드결과물디코딩
_문제078M2M100번역소스로한국어텍스트준비
_문제079M2M100한국어텍스트토크나이징
_문제080M2M100한국어/영어자동번역
_문제081M2M100번역결과물디코딩

14장MobileBERT
_문제082MobileBERT라이브러리설치및사전학습모델불러오기
_문제083MobileBERTvsBERTTokenizer
_문제084MobileBERT추론시마지막은닉층
_문제085MobileBERT빈칸채우기퀴즈

15장GPT,DialoGPT,DistilGPT2
_문제086DistilGPT2라이브러리설치및사전학습모델불러오기
_문제087DistilGPT2시각화
_문제088DistilGPT2문장생성
_문제089DialoGPT모델(DiologeTextPre-LearningModel)불러오기
_문제090DialoGPT문장생성

16장자연어처리실습-BERT및tSNE
_문제091위키피디아영문키워드검색
_문제092모더나COVID-19위키피디아텍스트가져오기
_문제093화이자COVID-19위키피디아텍스트가져오기
_문제094BERT도큐먼트벡터처리모듈설치
_문제095BERT사전학습모델을파이프라인에불러오기
_문제096BERT도큐먼트벡터표현추출
_문제097BERT벡터차원,단어토크나이징및디코딩
_문제098BERT[CLS]토큰의도큐먼트벡터표현함수및BERT전처리
_문제099모더나/화이자Covid-19백신BERT[CLS]벡터추출
_문제100토크나이저를통한빈도수합산
_문제101모더나vs화이자t-SNE시각화

이책은트랜스포머모델에대한가장기본적인개념과이론은물론,실전에서유용한코랩과파이토치를통해문장자동번역,줄거리요약,음성/이미지인식,추출등의자연어처리과정을경험해볼수있습니다.또한체계적으로분류된101가지문제를바탕으로허깅페이스의트랜스포머스라이브러리를다루며상황에따라활용하는방법을알아봅니다.

[이책에서다루는내용]
_01~03장:구글코랩환경설정/DistillBERT파인튜닝,IMDB데이터세트,사전학습/모델성능평가,예측성과지표분석
_04~05장:GPT-Neo,DistilGPT2,DialoGPT를활용한텍스트자동생성/BERT,DistilBERT,ALBERT로딩MLM파이프라인을통한토큰예측
_06~07장:CLIP를통한이미지인식과자연어처리/Wav2Vec2자동음성인식모델,오디오데이터처리
_08~09장:BERT사전학습모델,데이터세트,파인튜닝,분류정확도분석/BART사전학습모델,정규식활용,토크나이징,추론,디코딩
_10~12장:BERT앙상블데이터세트,BERT앙상블학습및예측/BigBird데이터세트와추론/PEGASUS토크나이징및인코딩,자동요약
_13~14장:M2M100를통한중국어,한국어자동번역/MobileBERT라이브러리를활용한빈칸채우기
_15~16장:GPT,DialoGPT,DistilGPT2를통한문장생성활용/BERT,tSNE의자연어처리실습및벡터처리,시각화

[이책의대상독자]
_트랜스포머스라이브러리를직접경험해보고싶은대학생,개발자
_파이토치와코랩으로간편하게딥러닝,머신러닝을분석하고싶은사람누구나!