텐서플로와 케라스로 구현하는 딥러닝 3/e - 에이콘 데이터 과학 시리즈

아미타카푸어,안토니오걸리,수짓팔

(AmitaKapoor)
신경망및인공지능분야의연구를가르치고관리했다.인도델리대학교에서부교수로20년이상재직했으며현재프리랜서로활동하고있다.AI컨설턴트이며AI및EdTech분야에서일하는다양한조직에전문지식을제공하고있다.

1장.텐서플로와신경망기초
2장.회귀와분류
3장.컨볼루션신경망
4장.단어임베딩
5장.순환신경망
6장.트랜스포머
7장.비지도학습
8장.오토인코더
9장.생성모델
10장.자기-지도학습
11장.강화학습
12장.확률적텐서플로
13장.AutoML소개
14장.딥러닝배경수학
15장.TPU
16장.기타유용한딥러닝라이브러리
17장.그래프신경망
18장.기계학습모범사례
19장.텐서플로2생태계
20장.고급컨볼루션신경망

이책에서다루는내용

-텐서플로로보편적인GNN을사용한그래프마이닝과제해결방법
-사전학습단계부터평가하는미세-튜닝단계까지트랜스포머의세계탐구
-자기-지도학습을적용한자연어처리,컴퓨터비전,자동신호처리방법
-확률과딥러닝모델을TensorFlowProbability를이용해병합
-클라우드에서모델을훈련하고텐서플로를실제환경에서작동시키는방법
-텐서플로2.x와케라스API를통한머신러닝과딥러닝모델구축

이책의대상독자

머신러닝경험이있는데이터과학자이거나신경망에어느정도익숙한AI프로그래머라면이책이텐서플로를사용한딥러닝에대한유용한시작점임을알게될것이다.딥러닝쓰나미에대한관심이커지고있는소프트웨어엔지니어라면이책이해당주제에대한지식을넓힐수있는기초플랫폼이될것이다.파이썬에대한기본지식이있는독자를대상으로한다.

이책의구성

1장은머신러닝및딥러닝을위해Google에서개발한오픈소스라이브러리인텐서플로의기본사항을배운다.또한지난몇년동안놀라운성장을이룬머신러닝의두가지영역인신경망과딥러닝의기초를소개한다.1장의기본목적은기본적이지만완전한딥러닝실습을수행하는데필요한모든도구를소개하는것이다.

2장은머신러닝기술의기본작업인회귀와분류에중점을둔다.텐서플로를사용해단순,다중및다변량회귀모델을구축하는방법을배운다.또한다중클래스분류문제를해결하기위해로지스틱회귀를사용한다.

3장은MNIST필기문자를높은정확도로인식하기위해딥러닝ConvNet을사용하는방법을다룬다.CIFAR10데이터셋을사용해10개의카테고리로딥러닝분류기를구축하고ImageNet데이터셋으로1,000개의카테고리로정확한분류기를구축할것이다.또한VGG16과같은대규모딥러닝네트워크와InceptionV3와같은매우깊은네트워크를사용하는방법을조사한다.아울러전이학습에대한논의로마무리한다.

4장은분산표현과단어임베딩의기원과이론을소개한다.그다음문장과단락을기반으로하는정적단어기반임베딩보다더역동적이고표현적인단어임베딩의진행상황을차트로설명한다.또한그래프의노드또는웹애플리케이션의사용자세션과같이단어가아닌시퀀스도포함하도록단어임베딩의아이디어를확장할수있는방법을살펴본다.다양한종류의단어임베딩을사용하는여러예역시포함한다.

5장에서는순환신경망을다루며,자연어또는시계열과같은시퀀스데이터를처리하는데최적화된신경망의중요한아키텍처하위부류에대해설명한다.LSTM(LongShort-TermMemory)및GRU(GatedRecurrentUnit)와같은중요한아키텍처를설명하고양방향상태및일괄처리상태를처리하도록확장할수있는방법을보여준다.또한텍스트생성,감정분석및품사태깅과같은특정작업에대한다양한토폴로지와함께RNN을사용하는예를소개한다.또한인코더-디코더파이프라인에서한쌍의RNN을사용해다양한NLP작업을해결하는인기있는seq2seq아키텍처에대해서도설명한다.

6장에서는전통적인자연어처리분야를혁신한딥러닝아키텍처인트랜스포머를다룬다.먼저가장인기있는모델에대한심층분석과함께아키텍처및다양한범주의트랜스포머에대한핵심직관을검토하는것으로시작한다.그런다음HuggingFace및TensorFlowHub와같은인기있는라이브러리와바닐라아키텍처를기반으로하는구현에중점을둔다.그다음평가,최적화및트랜스포머를사용할때일반적으로채택되는몇가지모범사례에대해간략하게설명한다.마지막절은트랜스포머를사용해NLP와완전히다른영역인컴퓨터비전작업을수행하는방법을검토하는데전념한다.이를위해서는어텐션(attention)메커니즘에대한신중한정의가필요하다.결국,“필요한것은어텐션이전부다”.그리고관심의핵심에는벡터간의코사인유사성외에는아무것도없다.

7장에서는비지도학습모델에대해자세히설명한다.PCA,k-평균및자체구성맵과같은클러스터링및차원감소에필요한기술을다룬다.볼츠만(Boltzmann)머신과텐서플로를사용한구현에대해자세히설명한다.다루는개념은RBM(RestrictedBoltzmannMachines)구축으로확장된다.

8장에서는입력을대상으로재생성하려는신경망부류인오토인코더에대해설명한다.희소오토인코더,컨볼루션오토인코더,디노이징(denosing)오토인코더와같은다양한종류의오토인코더를다룰것이다.여기서는잡음제거자동인코더를훈련해입력이미지에서잡음을제거한다.오토인코더를사용해MNIST숫자를생성하는방법을보여준다.또한문장벡터를생성하기위해LSTM자동인코더를구축하는것과관련된단계도다룬다.마지막으로,이미지를생성하기위해가변오토인코더를구축하는방법을배운다.

9장에서는생성적적대신경망(GAN)에중점을둔다.먼저첫번째제안된GAN모델로시작해MNIST문자를위조하는데사용한다.또한심층컨볼루션GAN을사용해유명인이미지를만드는방법을보여준다.그리고SRGAN,InfoGAN및CycleGAN과같은다양한GAN아키텍처에대해설명한다.다양하고멋진GAN애플리케이션도다룬다.마지막으로겨울-여름이미지를변환하기위해CycleGAN의텐서플로구현으로결론을내린다.

10장에서는컴퓨터비전,오디오및자연어처리에서자기-지도학습에사용되는다양한전략에대한개요를제공한다.자기회귀생성,마스킹된생성,관계예측및이러한접근방식의하이브리드와같은전략을통한자기예측을다룬다.또한자기-지도학습을위한인기있는기술인대조학습과다양한응용분야의다양한구실작업에대한응용을다룬다.

11장에서는Q-러닝알고리듬과벨만(Bellman)방정식을다루는강화학습에중점을둔다.할인된보상,탐색및활용,할인요소를다룬다.또한정책기반및모델기반강화학습에대해설명한다.아타리(Atari)게임을플레이하기위해DQN(DeepQ-LearningNetwork)을구축할것이다.마지막으로정책기울기알고리듬을사용해에이전트를교육하는방법을배운다.

12장에서는확률론적추론과통계분석을수행하기위해텐서플로위에구축된라이브러리인텐서플로확률을소개한다.TensorFlowProbability를사용해합성데이터를생성하는방법을보여준다.베이즈네트워크를구축하고추론을수행한다.12장에서는또한불확실성,우발적및인식적개념과훈련된모델의불확실성을계산하는방법을소개한다.

13장에서는기계학습기술에익숙하지않은도메인전문가가머신러닝기술을쉽게사용할수있도록하는것을목표로하는AutoML을소개한다.먼저GoogleCloudPlatform을사용해실습을진행하고기본사항에대해간략히논의한후실질적인실습작업을수행한다.자동데이터준비,자동기능엔지니어링및자동모델생성을다룬다.그런다음테이블,비전,텍스트,번역및비디오처리를위한여러솔루션과함께오토케라스및GoogleCloudAutoML을소개한다.

14장에서는딥러닝의이면의수학을다룬다.이주제는상당히고급과정이므로실무자에게반드시필요하진않다.그러나신경망을다룰때“내부적으로”어떤일이일어나고있는지이해하고자한다면읽어보길권한다.역사적소개부터시작해미분과그래디언트의고등학교수준의개념을검토하고딥러닝네트워크를최적화하는데일반적으로사용되는그래디언트디센트및역전파알고리듬을소개한다.

15장에서는TPU에대해설명한다.TPU는초고속방식으로신경망수학연산을실행하기위해Google에서개발한매우특별한ASIC칩이다.연산의핵심은여러내적(행*열)을병렬로계산하는수축기승수이므로기본딥러닝작업의계산을가속화한다.TPU를행렬또는텐서작업에초점을맞춘딥러닝을위한특수목적의보조프로세서로생각하라.지금까지의4세대TPU와추가IoT용EdgeTPU를검토할것이다.

16장에서는다른딥러닝프레임워크를소개한다.HuggingFace,OpenAI의GPT3및DALL-E2를살펴본다.또다른인기있는딥러닝프레임워크인PyTorch를소개한다.또한H2O.ai와AutoML모듈도다룬다.아울러딥러닝모델을위한ONNX오픈소스형식에대해서도간략하게설명한다.

17장에서는그래프신경망과인기있는딥그래프라이브러리(DGL)를특히강조하면서그래프와그래프기계학습을소개한다.먼저GNN(및DGL에서사용가능)에서사용되는일반적으로사용되는다양한그래프계층의이론을설명하고노드분류,링크예측및그래프분류에사용되는GNN의예를제공한다.또한고유한그래프데이터셋으로작업하고그래프계층을사용자지정해새로운GNN아키텍처를생성하는방법도보여준다.그다음이기종그래프및시간그래프와같은GraphML분야의최첨단발전을다룬다.

18장에서는훈련과제품에서최상의모델을얻기위해따라야할전략과사례에중점을둔다.여기서는데이터관련사례와모델관련사례라는두가지관점에서모범사례를설명한다.

19장에서는텐서플로생태계의다양한구성요소를설명한다.사전학습된딥러닝모델의저장소인TensorFlowHub를소개한다.여기서는바로사용할수있는데이터셋모음인텐서플로데이터셋에관해설명한다.또한모바일및임베디드시스템과웹을위한프레임워크인TensorFlowLite및TensorFlowJS에대해서도이야기할것이다.마지막으로분산형기계학습프레임워크인연합학습에대해설명한다.

20장에서는CNN(컨볼루션신경망)의고급사용법을보여준다.CNN이컴퓨터비전,비디오,텍스트문서,오디오및음악영역내에서어떻게적용될수있는지탐구할것이다.그리고컨볼루션연산을요약하는절로마무리한다.

지은이의말

『텐서플로와케라스로구현하는딥러닝3/e』은소프트웨어엔지니어와데이터과학자를위해특별히설계된최신신경망,인공지능및딥러닝기술에대한간결하면서도알찬소개서다.이책은같은저자가쓴『텐서플로2와케라스로구현하는딥러닝2/e』(에이콘,2020)및『TensorFlow1.xDeepLearningCookbook』(Packt,2017)의후속작이다.
지난6년동안학습기술이어떻게진화했는지매우상세한파노라마를보여준다.아울러케라스와유사한API를기반으로하는모듈식네트워크라이브러리인텐서플로2.x를사용해파이썬으로코딩된수십개의작동하는심층신경망을제시한다.
인공지능(AI)은이책에서논의하는모든것의토대다.머신러닝(ML,MachineLearning)은AI의한부류이며딥러닝(DL,DeepLearning)은머신러닝의하위집합이다.이절에서는이책의나머지부분에서정기적으로접하게될세가지개념에대해간략하게설명한다.
AI는일반적으로인간이보여주는지능형행동을기계가모방하는모든활동을나타낸다.보다형식적으로는기계가학습행동,환경과의능동적상호작용,추론및추측,컴퓨터비전,음성인식,문제해결,지식표현및인식과같은인지기능을복제하는것을목표로하는연구분야다.AI는인간행동을연구하는심리학및기타과학뿐만아니라컴퓨터과학,수학및통계의요소를기반으로한다.AI를구축하기위한전략은여러가지가있다.1970년대와1980년대에“전문가”시스템은엄청난인기를끌었다.이러한시스템의목표는수동으로정의된많은수의if-then규칙으로지식을표현해복잡한문제를해결하는것이었다.이접근방식은매우구체적인도메인의작은문제에는효과가있었지만더큰문제와복합적인도메인까지확장할수는없었다.나중에AI는머신러닝의일부인통계방법을기반으로하는노하우에점점더집중했다.
머신러닝은특정작업을위해프로그래밍할필요없이컴퓨터에게학습방법을가르치는데중점을둔AI의하위분야다.머신러닝의핵심아이디어는데이터에서학습하고예측하는알고리듬을만들수있다는것이다.머신러닝에는크게세가지범주가있다.

-지도학습은기계에입력데이터와원하는출력이제공되는것으로서,목표는기계가교육예제를통해이전에관찰한적이없는데이터에대해의미있는예측을할수있는방식으로학습하는것이다.
-비지도학습은기계에입력데이터만제공되고이후에기계가외부지도나입력없이자체적으로의미있는구조를찾는다.
-강화학습은기계가환경과상호작용하는에이전트역할을한다.기계는원하는방식으로행동하면“보상”을,원하지않는방식으로행동하면“처벌”을받는다.기계는그에따라행동을개발하는방법을학습해보상을극대화하려고시도한다.

딥러닝은2012년에전세계를강타했다.그해에ImageNet2012챌린지는손으로레이블을붙인대규모데이터셋의하위집합을사용해사진의내용을예측하는것을목표로시작됐다.AlexNet이라는딥러닝모델은상위5개오류율15.3%를달성했으며,이는이전의최신결과에비해크게개선된것이다.「이코노미스트」에따르면갑자기사람들이AI커뮤니티뿐만아니라기술산업전반에걸쳐관심을갖기시작했다.
이는시작에불과했다.오늘날딥러닝기술은의료,환경,녹색에너지,컴퓨터비전,텍스트분석,멀티미디어,금융,소매,게임,시뮬레이션,산업,로봇공학및자율주행자동차와함께그보다더많은여러종류로이뤄진영역에성공적으로적용된다.이러한각영역에서딥러닝기술은이전방법으로는불가능했던정확도수준으로문제를해결할수있다.
지난8년간딥러닝이과학과산업에기여한범위를돌이켜보면흥미진진하다.향후8년동안기여도가줄어들것이라고믿을이유가없다.실제로딥러닝분야가계속발전함에따라딥러닝은제공하는훨씬더흥미롭고매력적인기여를보게될것으로기대한다.
이책은딥러닝의마법을소개한다.먼저간단한모델로시작해점진적으로더정교한모델을도입할것이다.접근방식은작업하기적절한양의코드를사용해항상직접손으로작업할것이다.

옮긴이의말

딥러닝에대한기초부터최신기술동향까지한눈에쉽게파악할수있도록구성돼있으며,전작을증보한3판이다.특히케라스를완전통합한텐서플로2.0에대한풍부한예제와함께현재활발히연구가진행중인AutoML까지다루고있던2판에서4개의장이더늘어나면서그래프신경망의소개,최신TPUversion4.0의소개,확률적텐서플로의소개가늘어났고,2판에있던여러예제도최신내용으로많이갱신됐다.또한2판에다소산재해있던몇가지개념은독립시키거나다시정리해,한결더쉽게다가오도록했다.새로생긴6장의‘트랜스포머’등을통해ChatGPT처럼최근가장주목받고있는개념도더욱확실히이해할수있을것이다.또한그래프신경망도별도의장으로추가돼여러예제와함께소개된다.
딥러닝을처음으로시작하는사람에게도어렵지않을정도로친절히안내하는책이다.동시에딥러닝의핵심인역전파의이면에서벌어지는수학적의미에대한해부에한장을할애할정도로전문적인설명도빠트리지않는다.편안한마음으로책을따라가다보면어느새텐서플로에대한최신전문가가돼있을것이다.