10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치 (가볍게 시작하는 허깅페이스 트랜스포머 실전 강의)

프렘팀시나

PremTimsina

MountSinaiHealthSystems의엔지니어링디렉터로,머신러닝/딥러닝데이터제품의개발과구현을총괄하고있다.뉴욕의여러병원에서의료진단용머신러닝제품을총괄하며,파이토치,딥러닝,생성형AI,ApacheSpark및NoSQL플랫폼을통해다양한빅데이터문제를해결해왔다.머신러닝,텍스트마이닝,빅데이터분석분야에서40편이상의논문을발표,미국다코타주립대학교(DakotaStateUniversity)에서정보시스템으로박사학위를취득했다.

01장트랜스포머아키텍처
_01.1NLP모델발전사
__01.1.1순환신경망(RNN)
__01.1.2LSTM
__01.1.3RNN인코더-디코더
__01.1.4어텐션메커니즘
_01.2트랜스포머아키텍처
__01.2.1임베딩
__01.2.2위치인코딩
__01.2.3모델입력
__01.2.4인코더층
__01.2.5어텐션메커니즘
_01.3트랜스포머학습프로세스
_01.4트랜스포머추론프로세스
_01.5트랜스포머종류와애플리케이션
__01.5.1인코더전용모델
__01.5.2디코더전용모델
__01.5.3인코더-디코더모델

02장허깅페이스생태계
_02.1허깅페이스개요
__02.1.1주요구성요소
__02.1.2토크나이저
__02.1.3커스텀토크나이저생성
__02.1.4허깅페이스사전학습토크나이저사용
_02.2Datasets라이브러리
__02.2.1허깅페이스데이터셋사용
__02.2.2파이토치에서허깅페이스데이터셋사용
_02.3모델파인튜닝
__02.3.1환경설정
__02.3.2학습
__02.3.3추론
_02.4허깅페이스모델공유
__02.4.1모델(Model)공유
__02.4.2스페이스(Spaces)사용

03장파이토치트랜스포머모델
_03.1파이토치트랜스포머구성요소
_03.2임베딩
__03.2.1임베딩층구현
_03.3위치인코딩
_03.4마스킹
_03.5트랜스포머인코더구성요소
_03.6트랜스포머디코더구성요소
_03.7파이토치트랜스포머층

04장파이토치와허깅페이스를사용한전이학습
_04.1전이학습필요성
_04.2전이학습사용법
_04.3사전학습모델저장소
_04.4사전학습모델
__04.4.1자연어처리(NLP)
__04.4.2컴퓨터비전
__04.4.3음성처리
_04.5프로젝트1:BERT-base-uncased모델파인튜닝으로분류기생성
__04.5.1커스텀데이터셋클래스
__04.5.2DataLoader생성
__04.5.3추론

05장대규모언어모델
_05.1대규모언어모델(LLM)
_05.2성능을결정하는핵심요인
__05.2.1네트워크사이즈:인코더층과디코더층개수
_05.3선도적인LLM
__05.3.1BERT및계열모델
__05.3.2GPT
__05.3.3BART
_05.4커스텀LLM생성
__05.4.1Clincal-BERT구현

06장트랜스포머NLP작업
_06.1NLP작업
_06.2텍스트분류
__06.2.1텍스트분류에알맞은아키텍처
__06.2.2트랜스포머파인튜닝으로텍스트분류하기
__06.2.3긴시퀀스처리
__06.2.4문서청킹구현예제
__06.2.5계층적어텐션구현예제
_06.3텍스트생성
__06.3.1프로젝트2:셰익스피어가쓴것같은텍스트생성
_06.4트랜스포머챗봇
__06.4.1프로젝트3:클리닉질의응답(AI의사)트랜스포머
_06.5PEFT및LoRA로학습하기

07장컴퓨터비전(CV)모델
_07.1이미지전처리
__07.1.1이미지전처리예제
_07.2Vision트랜스포머아키텍처
__07.2.1프로젝트4:AI안과의사
_07.3Distillation트랜스포머
__07.3.1DeiT의사전학습과정
__07.3.1DeiT의장점
_07.4Detection트랜스포머
__07.4.1프로젝트5:객체탐지모델

08장트랜스포머컴퓨터비전작업
_08.1컴퓨터비전작업
__08.1.1이미지분류
__08.1.2이미지세그멘테이션
__08.1.3프로젝트6:다이어트계산기용이미지세그멘테이션
_08.2디퓨전모델:비조건부이미지생성
__08.2.1포워드디퓨전
__08.2.2백워드디퓨전
__08.2.3추론프로세스
__08.2.4학습가능(Learnable)파라미터
__08.2.5DogGenDiffuion프로젝트구현

09장음성처리모델
_09.1음성처리
__09.1.1음성전처리예제
_09.2Whisper모델
__09.2.1Whisper_Nep모델개발과정
_09.3Wav2Vec모델
__09.3.1Wav2Vec애플리케이션
_09.4SpeechT5모델
__09.4.1입출력표현(Representation)
__09.4.2크로스모달표현
__09.4.3인코더-디코더아키텍처
__09.4.4사전학습
__09.4.5파인튜닝및애플리케이션
_09.5Whisper,Wav2Vec2.0,SpeechT5비교

10장트랜스포머음성처리작업
_10.1음성처리작업
__10.1.1음성to텍스트(Speechtotext)
__10.1.2프로젝트7:Whisper를사용한음성to텍스트변환
_10.2텍스트to음성변환
__10.2.1프로젝트8:텍스트to음성변환
_10.3오디오to오디오변환
__10.3.1프로젝트9:노이즈제거로오디오품질개선

11장테이블데이터처리를위한트랜스포머
_11.1트랜스포머를사용한테이블데이터처리
__11.1.1TAPAS아키텍처
_11.2TabTransformer아키텍처
_11.3FTTransformer아키텍처
__11.3.1피처토크나이저
__11.3.2수치형과범주형특성병합
__11.3.3트랜스포머

12장테이블데이터회귀및분류작업용트랜스포머
_12.1분류작업용트랜스포머
__12.1.1데이터셋
__12.1.2타깃변수
__12.1.3데이터전처리
__12.1.4설정
__12.1.5세모델로학습및평가
__12.1.6평가결과
__12.1.7분석
_12.2회귀작업용트랜스포머
__12.2.1데이터셋
__12.2.2데이터전처리
__12.2.3설정
__12.2.4학습및평가

13장멀티모달트랜스포머
_13.1멀티모달아키텍처
__13.1.1ImageBind
__13.1.2CLIP
_13.2멀티모달작업
__13.2.1피처추출
__13.2.2텍스트to이미지
__13.2.3이미지to텍스트
__13.2.4비주얼질의응답

14장트랜스포머강화학습
_14.1강화학습
_14.2강화학습용파이토치테크닉(모델)
__14.2.1StableBaseline3
__14.2.2Gymnasium
_14.3강화학습수행방법
_14.4강화학습용트랜스포머
__14.4.1Decision트랜스포머
__14.4.2Trajectory트랜스포머

15장모델내보내기,서빙,배포
_15.1프로젝트10:모델내보내기및직렬화
__15.1.1파이토치모델내보내기및불러오기
__15.1.2여러모델저장
_15.2모델ONNX포맷으로모델내보내기
_15.3FastAPI로모델서빙하기
__15.3.1FastAPI의장점
__15.3.2모델서빙용FastAPI애플리케이션
__15.3.3시맨틱세그멘테이션모델서빙용FastAPI
_15.4모바일디바이스에서파이토치모델서빙하기
_15.5AWS에서허깅페이스트랜스포머모델배포하기
__15.5.1아마존SageMaker를통한배포
__15.5.2AWSLamda및아마존APIGateway를통한배포

16장트랜스포머모델해석가능성및시각화
_16.1설명가능성vs해석가능성개념
__16.1.1해석가능성
__16.1.2설명가능성
_16.2설명가능성및해석가능성툴
_16.3트랜스포머예측해석용도의CAPTUM
__16.3.1모델불러오기
__16.3.2입력준비
__16.3.3층(레이어)적분그레이디언트
__16.3.4시각화
_16.4파이토치모델용텐서보드

17장파이토치모델의모범사례및디버깅
_17.1트랜스포머모델구현모범사례
__17.1.1허깅페이스활용
__17.1.2파이토치모델에대한일반적인고려사항
_17.2파이토치디버깅기술
__17.2.1구문에러
__17.2.2런타임에러
__17.2.3논리적(Logical)에러
__17.2.4파이토치ML모델디버깅에대한일반가이드라인

★이책에서다루는10가지프로젝트★
1.BERT-base-uncased모델파인튜닝으로분류기생성
2.셰익스피어가쓴작품같은텍스트생성
3.AI클리닉질의응답챗봇제작
4.안과분야의AI의사구현
5.객체탐지를위한프로그램제작
6.음식사진을분류하는다이어트계산기구현
7.Whisper를사용한음성to텍스트변환
8.SpeechT5를활용한텍스트to음성변환
9.노이즈제거로오디오품질개선
10.파이토치모델내보내기및직렬화작업

★이책에서다루는10가지주요키워드★
1.트랜스포머아키텍처
2.허깅페이스생태계
3.파이토치기반모델구현
4.전이학습
5.LLM(대규모언어모델)
6.NLP작업(텍스트분류및생성)
7.컴퓨터비전트랜스포머모델
8.음성처리트랜스포머
9.멀티모달트랜스포머
10.모델서빙및배포



★이책의대상독자★
*허깅페이스트랜스포머모델과라이브러리의전체가이드라인이필요한데이터과학자
*자연어처리,컴퓨터비전,음성인식등다양한분야의실전프로젝트가궁금한AI엔지니어
*AI및머신러닝프로젝트관리와구현에대한이해가필요한프로젝트관리자
*트랜스포머모델이딥러닝,머신러닝분야에서어떻게활용되는지알고싶은누구나!

★아마존독자들의추천사★
이책은파이토치와허깅페이스의강력한기능을활용하여체계적으로통찰력있는고급기법들을제시합니다.트랜스포머의실용적인응용에깊이파고들고자하는딥러닝애호가들의참조서적으로적합합니다.내용이잘구성되어있으며최신머신러닝기술에관심이있는독자들에게철저하게다가갑니다.
-sunita

트랜스포머기반모델구축을시작하고NLP,비전,오디오와관련된프로젝트를개발하고자한다면훌륭한교재입니다.이책은직접실행하고연습할수있는완전한코드예제를제공하며,학습한내용을스스로확인할수있는퀴즈도포함되어있습니다.전반적으로매우좋은책입니다.
-Ganesh

이책은트랜스포머모델아키텍처를자세히설명하며출발합니다.본격적인여정에서는모델을구현하기위한여러실습예제를다룹니다.기본적인커스텀토크나이저생성부터컴퓨터비전,음성처리,멀티모달프로젝트까지다룹니다.모든코드예제가즉시실행할수있는구글코랩파일로제공되어누구나쉽게따라하며프로젝트를직접만들어볼수있습니다.트랜스포머모델에대해더배우고싶지만방대한콘텐츠에압도되었다면,이책은논리적인순서로안내하며따라하기쉬운코드예제를통해‘직접실습하며배우는’완벽한가이드가될것입니다.
-fabiosantana