Go를 활용한 머신 러닝 (Go 프로그래밍 언어를 사용해 | 회귀분석, 분류, 클러스터링, 시계열 모델, 신경망 및 딥러닝 구현하기)

다니엘화이트낵

파키덤(Pachyderm)을활용해데이터과학을연구하는숙련된데이터과학자다.예측모델,데이터시각화,통계분석등을포함하는혁신적인분산데이터파이프라인을개발한다.전세계의콘퍼런스(GopherCon,JuliaCon,PyCon,ODSC,Spark서밋등)에활발히참여해발표하며퍼듀대학교에서데이터과학과엔지니어링을가르치고있다.또한주피터(Juphyter)의Go커널을관리하며다양한오픈소스데이터과학프로젝트에적극적으로기여하고있다.

1장.데이터수집및구성
__데이터처리하기-Gopher스타일
__Go를활용한데이터수집및구성의모범사례
__CSV파일
____파일에서CSV데이터읽기
____예상하지못한필드처리하기
____예상하지못한타입처리하기
____데이터프레임을활용해CSV데이터조작하기
__JSON
____JSON파싱하기
____JSON출력
__SQL유형데이터베이스
____SQL데이터베이스에연결하기
____데이터베이스쿼리하기
____데이터베이스수정하기
__캐싱(Caching)
____메모리에데이터캐싱하기
____디스크에로컬로데이터캐싱하기
__데이터버전관리
____Pachydermjargon
____Pachyderm설치
____데이터버전관리를위한데이터저장소생성하기
____데이터저장소에데이터넣기
____버전관리되는데이터저장소에서데이터가져오기
__참조
__요약

2장.행렬,확률및통계
__행렬및벡터
____벡터
____벡터연산
____행렬
____행렬연산
__통계
____분포(Distribution)
____통계적측정방법
____분포시각화하기
__확률
____확률변수(RandomVariables)
____확률측정방법
____독립및조건부확률
____가설검정(Hypothesistesting)
__참조
__요약

3장.평가및검증
__평가(Evaluation)
____연속형측정방법
____범주형측정방법
__검증(Validation)
____훈련(학습)및테스트데이터집합
____홀드아웃(Holdout)집합
____교차검증(CrossValidation)
__참조
__요약

4장.회귀분석
__회귀분석모델용어이해하기
__선형회귀분석
____선형회귀분석개요
____선형회귀분석가정및함정
____선형회귀분석예제
__다중선형회귀분석
__비선형및다른유형의회귀분석
__참조
__요약

5장.분류
__분류모델용어이해하기
__로지스틱회귀분석
____로지스틱회귀분석개요
____로지스틱회귀분석의가정및함정(문제점)
____로지스틱회귀분석예제
__k-최근접이웃모델
____kNN의개요
____kNN의가정및함정(문제점)
____kNN예제
__의사결정트리와랜덤포레스트
____의사결정트리와랜덤포레스트개요
____의사결정트리와랜덤프레스트의가정및함정(문제점)
____의사결정트리예제
____랜덤포레스트예제
__나이브베이즈
____나이브베이즈와가정에대한개요
____나이브베이즈예제
__참조
__요약

6장.클러스터링
__클러스터링모델용어이해하기
__거리또는유사도측정하기
__클러스터링기법평가하기
____내부클러스터링평가방법
____외부클러스터링평가
__k-평균클러스터링
____k-평균클러스터링개요
____k-평균클러스터링의가정및함정(문제점)
____k-평균클러스터링예제
__기타클러스터링기법
__참조
__요약

7장.시계열분석및이상감지
__Go에서시계열데이터표현하기
__시계열데이터용어이해하기
__시계열관련통계
____자기상관(Autocorrelation)
____편자기상관(Partialautocorrelation)
__예측을위한자동회귀모델
____자동회귀모델개요
____자동회귀모델의가정및함정(문제점)
____자동회귀모델예제
__자동회귀이동평균모델및기타시계열분석모델
__이상감지
__참조
__요약

8장.신경망및딥러닝
__신경망에대한용어이해하기
__간단한신경망구축하기
____신경망의노드
____신경망아키텍처
____이아키텍처가동작하는이유
____신경망훈련및학습시키기
__간단한신경망활용하기
____실제데이터를사용해신경망훈련시키기
____신경망평가하기
__딥러닝소개
____딥러닝모델이란?
____Go를활용한딥러닝
__참조
__요약

9장.분석결과및모델배포하기
__원격컴퓨터에서안정적으로머신러닝모델실행하기
____Docker및Docker용어에대한간단한소개
____머신러닝응용프로그램의Docker-izing
__확장가능하고재현가능한머신러닝파이프라인구축하기
____Pachyderm및Kubernetes클러스터설정하기
____Pachyderm머신러닝파이프라인구축하기
____파이프라인업데이트및출처검사
____파이프라인단계확장하기
__참조
__요약

부록.머신러닝과관련된알고리즘/기술
__경사하강법
__역전파

★이책에서다루는내용★

■데이터의수집,구성,구문분석및정리방법
■행렬,선형대수학,통계및확률
■머신러닝모델을평가하고검증하는방법
■회귀분석,분류,군집화
■신경망과딥러닝
■시계열모델을활용해예측수행및이상감지작업수행
■분석도구및머신러닝모델배포방법
■머신러닝모델최적화방법

★이책의대상독자★
■머신러닝및데이터분석에관심이있는Go프로그래머
■Go언어에관심이있고Go를머신러닝과데이터분석워크플로에연동하는데관심이있는데이터과학자,데이터분석가,데이터엔지니어

★이책의구성★

1장부터3장까지는머신러닝워크플로를위해데이터를준비하고분석하는내용이다.
1장,‘데이터수집및구성’에서는로컬및원격소스로부터데이터를수집,정리하는방법과데이터의구문을분석하는방법을다룬다.1장에서는다양한장소에다양한포맷으로저장돼있는데이터와상호작용하는방법과데이터를정리하고구문분석한뒤출력하는방법을이해할수있다.
2장,‘행렬,확률및통계’에서는행렬및행렬연산을위해데이터를구성하는방법을다룬다.머신러닝에활용되는도구들로Go프로그램에서행렬을형성하는방법과이행렬을활용해다양한유형의행렬연산을수행하는방법을이해할수있다.또한일상데이터분석작업의핵심인통계적측정과수행방법에대해서도다룬다.2장을통해견고하게데이터분석을요약하는방법,분포를기술하고시각화하는방법,가설을정량화하고차원(Dimension)감소와같은데이터세트를변환하는방법을이해할수있다.
3장,‘평가및검증’에서는머신러닝애플리케이션의성능을측정하고일반화하는데핵심이되는평가및검증에대한내용을다룬다.3장을통해모델(즉,평가모델측정)의성능을계량하기위한다양한측정방법간의차이점뿐만아니라이런성능측정모델을좀더일반화해검증하는기법을이해할수있다.

4장부터7장까지는머신러닝기법을다룬다.
4장,‘회귀분석’에서는연속적인변수를모델링하고다른모델의기반이되는회귀(Regression)를설명한다.회귀는즉시해석할수있는모델을만든다.따라서조직에서예측기능을도입할때매우좋은시작점이될수있다.
5장,‘분류’에서는대상변수가일반적으로카테고리형태이거나레이블(Label)이붙어있다는점에서회귀분석과다른머신러닝기법인‘분류(Clssification)’를다룬다.예를들어분류모델은이메일을스팸카테고리와비-스팸카테고리로분류하거나네트워크트래픽이사기성인지사기성이아닌지를구분할수있다.
6장,‘클러스터링’에서는샘플의그룹을형성하는데사용되며감독되지않는머신러닝기법인클러스터링(Clustering)에대한내용을다룬다.데이터의구조를더잘이해하기위해서자동으로데이터요소그룹을형성하는방법을이해할수있을것이다.
7장,‘시계열분석및이상감지’에서는주식가격,사용자이벤트등과같은시계열(TimeSeries)데이터를모델링하는데활용되는기술을소개한다.시계열의다양한용어를이해하고시계열의모델을제작하고,시계열에서비정상적인부분을감지하는방법을알수있다.

8장부터9장까지는머신러닝을활용하는방법을다룬다.
8장,‘신경망및딥러닝’에서는신경망을활용해회귀,분류,이미지처리를수행하는데사용되는기술을소개한다.더복잡한모델링기술을언제그리고어떻게적용하는지이해할수있다.
9장,‘분석결과및모델배포하기’에서는개발한모델을프로덕션환경으로배포하고프로덕션수준의데이터를통해처리결과를배포하는방법에대해다룬다.책에서사용한코드를크게변경하지않고두가지작업을쉽게처리할수있는방법을설명한다.
부록,‘머신러닝과관련된알고리즘및기술’에서는이책에서사용하는용어및기술에대한내용과머신러닝워크플로우와관련된알고리즘,최적화,기술에대한정보를제공한다.