파이토치와 구글 코랩으로 배우는 BERT 입문

아즈마유키나가

저자:아즈마유키나가

'인간과AI의상생'이미션인회사,SAI-Lab주식회사의대표이사이며,AI관련교육과연구개발에종사하고있다.도호쿠대학대학원이학연구과를수료했으며,이학박사(물리학)이다.

흥미대상은인공지능(AI),뇌과학,네이티브앱개발,싱귤래리티등으로,세계최대교육동영상플랫폼Udemy에서다양한AI관련강좌를전개하여수만명을지도하는인기강사이다.여러유명기업에서AI기술을지도했으며,엔지니어로서VR,게임,SNS등장르를불문하고다양한앱을개발했다.

저서로『파이토치딥러닝모델AI앱개발입문』,『구글코랩으로배우는인공지능기술』,『핵심딥러닝입문:RNN,LSTM,GRU,VAE,GAN구현』,『처음만나는AI수학withPython』,『실체가손에잡히는딥러닝,기초부터실전프로그래밍』,『첫딥러닝-Python으로배우는신경망과역전파』(SB크리에이티브,2018),『Python으로동작해서배운다!새로운수학교과서기계학습·심층학습에필요한기초지식』(쇼에이사,2019),『첫딥러닝2Python으로구현하는순환신경망,VAE,GAN』(SB크리에이티브,2020)등이있다.

저자의유튜브채널에서는무료강좌가다수공개되고있다.



역자:김모세

대학졸업후소프트웨어엔지니어,소프트웨어품질엔지니어,애자일코치등다양한부문에서소프트웨어개발에참여했다.재미있는일,나와조직이성장하도록돕는일에보람을느껴2019년부터번역을시작했다.옮긴책으로는『인간vs.AI정규표현식문제풀이대결』(제이펍),『애자일개발의기술2판』(에이콘),『타입스크립트,리액트,Next,js로배우는실전웹애플리케이션개발』(위키북스),『추천시스템입문』(한빛미디어)등이있다.

문의사항가이드라인
이책의예제파일에관하여
옮긴이의말

CHAPTER0도입
0.1이책의특징
0.1.1파이썬기초를학습하자
0.1.2이책의구성
0.1.3이책을읽으면할수있게되는것들
0.1.4이책을읽을때주의할점
0.1.5이책의대상독자
0.1.6이책의사고방식

CHAPTER1BERT개요
1.1딥러닝이란
1.1.1인공지능과머신러닝,딥러닝
1.1.2신경망의구조
1.1.3딥러닝
1.2자연어처리개요
1.2.1자연어처리란?
1.2.2자연어처리응용
1.2.3형태소분석
1.2.4단어의벡터화
1.2.5RNN(순환신경망)
1.2.6Seq2Seq를사용한계열변환
1.2.7자연어처리에관해더학습하고싶다면
1.3트랜스포머개요
1.3.1트랜스포머란?
1.3.2트랜스포머의구조
1.4BERT개요
1.4.1BERT란?
1.4.2BERT의학습개요
1.4.3BERT의사전학습
1.4.4BERT의성능
1.5정리

CHAPTER2개발환경
2.1구글코랩시작방법
2.1.1구글코랩준비
2.1.2노트북사용방법
2.1.3다운로드파일취급방법
2.2세션과인스턴스
2.2.1세션,인스턴스란?
2.2.290분규칙
2.2.312시간규칙
2.2.4세션관리
2.3CPU와GPU
2.3.1CPU,GPU,TPU란?
2.3.2GPU사용방법
2.3.3성능비교
2.4구글코랩의다양한기능
2.4.1텍스트셀
2.4.2스크래치코드셀
2.4.3코드스니펫
2.4.4코드실행이력
2.4.5깃허브와의연동
2.5연습
2.5.1코드셀조작
2.5.2텍스트셀조작
2.5.3셀위치변경과삭제
2.6정리

CHAPTER3파이토치로구현하는간단한딥러닝
3.1구현개요
3.1.1학습하는매개변수와하이퍼파라미터
3.1.2순전파와역전파
3.1.3구현순서
3.2텐서
3.2.1패키지확인
3.2.2텐서생성
3.2.3넘파이배열과텐서의상호변환
3.2.4범위를지정해서텐서의일부에접근
3.2.5텐서의연산
3.2.6텐서의형태변환
3.2.7다양한통곗값계산
3.2.8연습:텐서끼리의연산
3.2.9해답예
3.3활성화함수
3.3.1시그모이드함수
3.3.2tanh
3.3.3ReLU
3.3.4항등함수
3.3.5소프트맥스함수
3.4손실함수
3.4.1평균제곱오차
3.4.2교차엔트로피오차
3.5최적화알고리즘
3.5.1기울기와경사하강알고리즘
3.5.2최적화알고리즘개요
3.5.3SGD
3.5.4모멘텀
3.5.5AdaGrad
3.5.6RMSProp
3.5.7Adam
3.6에포크와배치
3.6.1에포크과배치
3.6.2배치학습
3.6.3온라인학습
3.6.4미니배치학습
3.6.5학습예
3.7간단한딥러닝구현
3.7.1손으로쓴문자이미지인식
3.7.2데이터를훈련용과테스트용으로분할
3.7.3모델구축
3.7.4학습
3.7.5오차추이
3.7.6정답률
3.7.7훈련완료모델을사용한예측
3.8연습
3.8.1데이터를훈련용과테스트용으로분할
3.8.2모델구축
3.8.3학습
3.8.4오차추이
3.8.5정답률
3.8.6해답예
3.9정리

CHAPTER4간단한BERT구현
4.1Transformers개요
4.1.1Transformers란?
4.1.2Transformers를구성하는클래스
4.1.3BERT모델
4.2Transformers기초
4.2.1라이브러리설치
4.2.2Transformers모델:문장의일부를마스크
4.2.3Transformers모델:문장분류
4.2.4PreTrainedModel상속
4.2.5BERT설정
4.2.6토크나이저
4.3간단한BERT구현
4.3.1라이브러리설치
4.3.2누락된단어예측:BertForMaskedLM
4.3.3문장이연속되는지판정:BertForNextSentencePrediction
4.4연습
4.4.1라이브러리설치
4.4.2토크나이저불러오기
4.4.3모델불러오기
4.4.4연속성을판정하는함수
4.4.5연속성판정
4.4.6해답예
4.5정리

CHAPTER5BERT의구조
5.1BERT의전체이미지
5.1.1BERT학습
5.1.2BERT모델
5.1.3BERT의입력
5.1.4BERT의학습
5.1.5BERT의성능
5.2트랜스포머와어텐션
5.2.1트랜스포머의모델개요
5.2.2어텐션이란?
5.2.3입력과메모리
5.2.4어텐션가중치계산
5.2.5값과내적
5.2.6셀프어텐션과원천타깃어텐션
5.2.7멀티헤드어텐션
5.2.8위치별완전연결순방향신경망
5.2.9포지셔널인코딩
5.2.10어텐션시각화
5.3BERT의구조
5.3.1라이브러리설치
5.3.2BERT모델의구조
5.3.3BERT설정
5.4연습
5.4.1라이브러리설치
5.4.2BertForMaskedLM의구조
5.4.3BertForNextSentencePrediction의구조
5.5정리

CHAPTER6파인튜닝활용
6.1전이학습과파인튜닝
6.1.1전이학습이란?
6.1.2전이학습과파인튜닝
6.2간단한파인튜닝
6.2.1라이브러리설치
6.2.2모델불러오기
6.2.3최적화알고리즘
6.2.4토크나이저설정
6.2.5간단한파인튜닝
6.3파인튜닝을사용한감정분석
6.3.1라이브러리설치
6.3.2모델과토크나이저불러오기
6.3.3데이터셋불러오기
6.3.4데이터전처리
6.3.5평가용함수
6.3.6TrainingArguments설정
6.3.7Trainer설정
6.3.8모델훈련
6.3.9모델평가
6.4연습
6.4.1라이브러리설치
6.4.2모델과토크나이저불러오기
6.4.3층동결
6.4.4데이터셋불러오기
6.4.5데이터전처리
6.4.6평가용함수
6.4.7TrainingArguments설정
6.4.8Trainer설정
6.4.9모델훈련
6.4.10모델평가
6.4.11해답예
6.5정리

CHAPTER7BERT활용
7.1BERT활용예
7.1.1검색엔진
7.1.2번역
7.1.3텍스트분류
7.1.4텍스트요약
7.1.5기타활용예
7.2BERT일본어모델
7.2.1사용하는모델과데이터셋
7.2.2라이브러리설치
7.2.3누락된단어예측
7.2.4문장이연속되어있는지판정
7.3BERT를사용한일본어뉴스분류
7.3.1사용할데이터셋
7.3.2구글드라이브에훈련데이터를배치
7.3.3라이브러리설치
7.3.4구글드라이브와연동
7.3.5데이터셋불러오기
7.3.6데이터저장
7.3.7모델과토크나이저불러오기
7.3.8데이터전처리
7.3.9평가용함수
7.3.10TrainingArguments설정
7.3.11Trainer설정
7.3.12모델훈련
7.3.13모델평가
7.3.14모델저장
7.3.15모델불러오기
7.3.16일본어뉴스분류
7.4BERT한국어모델
7.4.1사용하는모델과데이터셋
7.4.2라이브러리설치
7.4.3누락된단어예측
7.4.4문장이연속되어있는지판정
7.5정리

BERT와GPT등딥러닝을사용한자연어처리기술은오늘날세계에큰영향을계속해서미치고있습니다.
BERT는트랜스포머(Transformer)기반으로다양한자연어처리태스크에맞춰조정할수있는범용성이매력입니다.다양한업무를더효율적으로,더창의적으로처리할수있는기술로어떤분야에서일하더라도딥러닝기술을배워두면쓸모가있을것입니다.