그림으로 이해하는 챗GPT 구조와 기술 (챗GPT, 쉽고 재미있게 시작하자!)

나카타니슈요

저자:나카타니슈요
사이보즈랩주식회사소속.어린시절부터프로그램과소설을집필해왔으며,현재는머신러닝,자연어처리,대규모언어모델(LLM)을중심으로연구및개발을하고있다.저서로는『[프로그래밍체험만화]펫스크립트만약프로그래밍가능한스티커가있다면』,『이해할수있는기계학습-현실의문제를해결하기위해구조를이해한다』(이상기술평론사)가있다.

역자:박광수
박광수라는이름보다‘아크몬드’라는필명으로알려진블로거이다.2004년부터지금까지최신윈도우정보를꾸준히나누고있다.지금까지7회마이크로소프트MVP(Windows부문)를수상했다.Microsoft365,애저등마이크로소프트의최신기술에열광한다.심리학에관심이많으며현재일본에서개발자로일하면서딥러닝에많은관심을두고있다.지은책으로는『진짜쓰는윈도우11』(제이펍,2023),『윈도우10마스터북』(한빛미디어,2016),옮긴책으로는『처음배우는딥러닝수학』,『파이썬으로배우는머신러닝의교과서』(이상한빛미디어)등이있다.

1장챗GPT
1.1챗GPT란
__1.1.1챗GPT시작
__1.1.2챗GPT활용사례
1.2편리한챗GPT기능
__1.2.1채팅답변편집및조작
__1.2.2채팅기록및공유
1.3프롬프트엔지니어링
__1.3.1프롬프트와컨텍스트
__1.3.2프롬프트엔지니어링
1.4챗GPT엔진(대규모언어모델)
__1.4.1GPT-4와GPT-3.5
__1.4.2웹검색연동기능
__1.4.3멀티모달기능(이미지를이용한채팅)
__1.4.4CodeInterpreter(프로그램자동실행)
1.5GPTs(AI의커스터마이징기능)
__1.5.1GPTs
__1.5.2GPT빌더
1.6챗GPT이외의AI채팅서비스
__1.6.1구글제미나이
__1.6.2마이크로소프트코파일럿
__1.6.3앤트로픽클로드
1.7AI채팅을이용할때주의할점
__1.7.1무작위성이존재한다
__1.7.2오류가능성
__1.7.3금지된행위
__1.7.4입력데이터취급
__1.7.5GPTs이용할때주의사항

2장인공지능
2.1AI(인공지능)
__2.1.1인공지능이란
2.2AI역사
__2.2.1AI연구의역사
2.3생성형AI와범용인공지능
__2.3.1생성형AI
__2.3.2범용인공지능(AGI)

3장머신러닝과딥러닝
3.1머신러닝
__3.1.1머신러닝≠기계가스스로학습하는것
__3.1.2머신러닝종류
__3.1.3추론과학습
__3.1.4최적화
__3.1.5일반화와과적합
3.2신경망
__3.2.1신경망이란
__3.2.2신경망구조
3.3신경망의학습
__3.3.1경사하강법을이용한학습
__3.3.2오차역전파법
3.4정규화
__3.4.1드롭아웃
__3.4.2배치정규화
__3.4.3잔차신경망
3.5컴퓨터에서숫자를다루는방법
__3.5.12진수로정수와소수표현
__3.5.2부동소수점수
__3.5.3부동소수점수의대표적인형식
__3.5.4부동소수점수의정밀도와동적범위
3.6양자화
__3.6.1모델크기와GPUVRAM관계
__3.6.2양자화
3.7GPU를활용한딥러닝
__3.7.1계산을빠르게하는방법
__3.7.2GPUvsCPU
__3.7.3GPU의탄생과범용계산
__3.7.4딥러닝에특화된GPU와NPU
__3.7.5GPU/NPU의소프트웨어지원

4장자연어처리
4.1자연어처리
__4.1.1딥러닝이전의자연어처리
__4.1.2자연어처리와딥러닝
4.2문자와문자코드
__4.2.1문자코드
__4.2.2유니코드
4.3단어와토큰
__4.3.1문장을컴퓨터가처리할수있도록분할하기
__4.3.2단어와문자기반분할
__4.3.3서브워드
4.4토크나이저
__4.4.1토큰나이저의학습
__4.4.2어휘수와토큰수의트레이드오프
4.5Word2Vec
__4.5.1‘개념’을다루는방식
__4.5.2Word2Vec으로단어의벡터표현
__4.5.3Word2Vec이단어의미를파악하는원리
4.6임베딩벡터
__4.6.1토큰벡터는‘의미’를나타내지않는다
__4.6.2임베딩벡터
__4.6.3다양한임베딩벡터

5장대규모언어모델
5.1언어모델
__5.1.1모델이란
__5.1.2언어모델이란
5.2대규모언어모델
__5.2.1대규모언어모델과‘일반적인언어능력’
5.3신경망의범용성과기반모델
__5.3.1신경망으로특징추출
__5.3.2기반모델
__5.3.3기반모델로정확도가향상되는원리
5.4스케일링법칙과창발성
__5.4.1스케일링법칙과창발성
__5.4.2대규모언어모델의파라미터수
5.5언어모델이텍스트를생성하는원리
__5.5.1언어모델의텍스트생성
__5.5.2자기회귀언어모델
__5.5.3탐욕법
5.6텍스트생성전략
__5.6.1랜덤샘플링과소프트맥스함수
__5.6.2‘온도’의역할
__5.6.3단어생성의트리다이어그램
__5.6.4빔서치
5.7언어모델을이용한AI채팅
__5.7.1문장생성을이용한AI채팅
__5.7.2대규모언어모델을이용한AI채팅의문제점
5.8로컬LLM
__5.8.1로컬LLM이란
__5.8.2로컬LLM환경
__5.8.3로컬LLM을이용한추론과정
5.9대규모언어모델의라이선스
__5.9.1로컬LLM의생태계
__5.9.2소프트웨어라이선스
__5.9.3대규모언어모델의라이선스종류
5.10대규모언어모델의평가
__5.10.1대규모언어모델의평가방법
__5.10.2리더보드
5.11대규모언어모델의학습:사전학습
__5.11.1사전학습과기반모델
__5.11.2자기지도학습
__5.11.3기반모델의추가학습
__5.11.4사전학습의훈련데이터
5.12대규모언어모델의학습:파인튜닝
__5.12.1파인튜닝
__5.12.2파인튜닝방법
__5.12.3RLHF
__5.12.4LoRA
5.13컨텍스트내학습
__5.13.1문맥내학습

6장트랜스포머
6.1회귀형신경망(RNN)
__6.1.1벡터의차원
__6.1.2회귀형신경망
__6.1.3언어모델로서RNN
__6.1.4장거리의존성과LSTM
__6.1.5인코더-디코더
6.2주의메커니즘
__6.2.1인간의인지와주의메커니즘
__6.2.2주의메커니즘의기본
__6.2.3인코더-디코더와주의메커니즘
6.3주의메커니즘의계산
__6.3.1주의메커니즘계산
__6.3.2주의메커니즘이잘작동하는이유
6.4트랜스포머
__6.4.1트랜스포머의기본구성
__6.4.2위치인코딩
__6.4.3멀티헤드주의메커니즘
6.5BERT
__6.5.1BERT(버트)특징
__6.5.2BERT의사전학습
6.6GPT
__6.6.1GPT모델의기본구조
__6.6.2MixtureofExperts

7장API를이용한AI개발
7.1OpenAIAPI활용
__7.1.1OpenAIAPI
__7.1.2OpenAIAPI를이용할때주의사항
7.2텍스트생성API(CompletionAPI등)
__7.2.1텍스트생성API의종류
7.3OpenAIAPI요금
__7.3.1OpenAIAPI의토큰
__7.3.2텍스트생성모델의종류와요금
__7.3.3OpenAI토크나이저라이브러리tiktoken
__7.3.4언어별토큰수차이
7.4텍스트생성API에지정하는파라미터
__7.4.1텍스트생성API의파라미터
7.5텍스트생성API와외부도구의연계:FunctionCalling
__7.5.1FunctionCalling
__7.5.2랭체인라이브러리
__7.5.3기계가읽을수있는도구로써FunctionCalling
7.6임베딩벡터생성API와규약위반검사API
__7.6.1임베딩벡터생성API
__7.6.2임베딩벡터생성API의모델종류
__7.6.3약관위반검사(Moderation)API
7.7OpenAI이외의대규모언어모델API서비스
__7.7.1마이크로소프트AzureOpenAIAPI
__7.7.2구글,VertexAI
__7.7.3아마존,Bedrock
7.8RAG
__7.8.1외부지식을활용한AI애플리케이션개발
__7.8.2RAG

8장대규모언어모델의영향
8.1생성형AI의위험과보안
__8.1.1생성형AI가미치는악영향
__8.1.2생성형AI의악용
__8.1.3생성형AI가부적절한출력을할위험
__8.1.4생성형AI를이용한서비스공격
__8.1.5대책과가이드라인
8.2AI의편향과정렬
__8.2.1학습데이터의편향이AI에미치는영향
__8.2.2AI의편향성을제어하는방법
8.3환각
__8.3.1AI는실수한다
__8.3.2환각의정체
__8.3.3환각의대책
__8.3.4환각을없앨수있을까?
8.4AI의민주화
__8.4.1AI활용의민주화
__8.4.2AI개발의민주화
__8.4.3빅테크의컴퓨팅자원
8.5대규모언어모델의다국어지원
__8.5.1챗GPT는몇개언어로사용가능한가요?
__8.5.2대규모언어모델의언어간격차
__8.5.3대규모언어모델과인지,문화와의관계
8.6AI와철학
__8.6.1지능이란,언어란
__8.6.2중국어의방

챗GPT는어떻게작동하는가?
쉽고빠르게이해하는챗GPT의구조와원리!

생성형AI를활용하는책들이주를이루고있지만,기술의본질을이해하지못한다면응용하고활용하는데는한계가있습니다.활용법은금세바뀌고도구자체도빠르게진화합니다.하지만구조와원리를깊이이해해두면,새로운버전이등장해활용법이변하더라도당황하지않고안정적으로대응할수있습니다.따라서AI를더잘활용하고AI를다양한분야에적용하고싶다면,AI의원리를알아두는것이반드시필요합니다.
이책은챗GPT의높은범용성을가능하한핵심기술인대규모언어모델(LLM)의구조와원리를다룹니다.뉴럴네트워크,양자화기반모델,트랜스포머,스케일링법칙,RAG,파인튜닝까지생성형AI의기반을이루는주요개념과메커니즘을체계적으로설명합니다.또한AI의성능과정확도를높이는요소부터응용가능성과활용전망까지폭넓게고찰합니다.생성형AI를업무에활용하고있거나다른기술에접목해야하는독자에게강력하게추천하는책입니다.