대규모 머신러닝 시스템 디자인 패턴 : 14가지 패턴으로 분산 머신러닝 파이프라인 구축하기

위안탕

저자:위안탕(YuanTang)
Akuity의창립엔지니어로,개발자를위한기업용플랫폼을구축하고있다.이전에알리바바와Uptake에서데이터과학및엔지니어링팀을이끌며AI인프라와AutoML플랫폼개발에주력했다.아르고(Argo)와쿠브플로(Kubeflow)의프로젝트리더이자텐서플로(TensorFlow)와XGBoost의메인테이너로활동중이며,이외에도다양한오픈소스프로젝트를만들어운영중이다.세권의머신러닝서적을집필하고여러논문을발표했다.다양한콘퍼런스에서정기적으로다양한발표를정기적으로진행하고있으며,여러조직에서기술자문과리더,멘토역할을수행하고있다.

역자:정민정
국내주요IT기업에서머신러닝엔지니어로활동하며대규모실시간추론시스템을설계및운영하고있다.컴퓨터비전과자연어처리를중심으로다양한도메인의머신러닝모델을실제서비스에적용해왔으며,현재는머신러닝서비스팀을이끌고있다.확장가능하면서도안정적인시스템을구축하는데주력하고있으며,실용적인머신러닝엔지니어링문화를전파하는데힘쓰고있다.

[PART1분산머신러닝시스템의배경지식]
CHAPTER01분산머신러닝시스템소개
_1.1대규모머신러닝
_1.2분산시스템
_1.3분산머신러닝시스템
요약

[PART2분산머신러닝시스템의설계패턴]
CHAPTER02데이터수집패턴
_2.1데이터수집이란?
_2.2Fashion-MNIST데이터셋
_2.3배치처리패턴:제한된메모리로무거운연산실행하기
_2.4샤딩패턴:매우큰데이터셋을여러워커에분산시키기
_2.5캐싱패턴:효율적인학습을위해데이터재활용하기
요약

CHAPTER03분산학습패턴
_3.1분산학습이란?
_3.2파라미터서버패턴:8백만개의유튜브영상에태그달기
_3.3집합통신패턴:파라미터서버가병목이되지않도록개선하기
_3.4탄력성및내결함성패턴:제한된연산자원으로인한실패대응하기
요약

CHAPTER04모델서빙패턴
_4.1모델서빙이란?
_4.2레플리카서버패턴:늘어나는요청량처리하기
_4.3서비스샤딩패턴:고해상도영상을처리하는대규모모델서빙다루기
_4.4이벤트기반처리패턴:이벤트기반으로모델서빙하기
요약

CHAPTER05워크플로패턴
_5.1워크플로란?
_5.2팬인및팬아웃패턴:복잡한머신러닝워크플로체계화
_5.3동기및비동기패턴:병렬성으로더빠르게처리하기
_5.4스텝메모이제이션패턴:반복되는작업생략하기
요약

CHAPTER06운영패턴
_6.1머신러닝시스템운영하기
_6.2스케줄링패턴:공유클러스터자원을효과적으로할당하기
_6.3메타데이터패턴:실패를적절히처리하는방법
요약

[PART03분산머신러닝시스템구축]
CHAPTER07실습프로젝트둘러보기
_7.1프로젝트개요
_7.2데이터수집단계
_7.3모델학습단계
_7.4모델서빙단계
_7.5전체워크플로구조
요약

CHAPTER08실습관련기술둘러보기
_8.1텐서플로:머신러닝프레임워크
_8.2쿠버네티스:분산컨테이너관리시스템
_8.3쿠브플로:쿠버네티스머신러닝워크로드관리시스템
_8.4아르고워크플로:컨테이너기반워크플로엔진
요약

CHAPTER09실습프로젝트
_9.1데이터수집
_9.2모델학습
_9.3모델서빙
_9.4전체워크플로
요약

대규모데이터처리와분석을위한분산머신러닝실무가이드

이책은분산시스템에서머신러닝을구현하고최적화하는데필요한14가지핵심패턴과모범사례를소개하는실무지침서다.복잡한분산머신러닝개념을쉽게이해할수있도록설명하고,실무에서바로적용할수있는실질적인방법론을제시한다.데이터분산처리,모델학습의병렬화,효율적인리소스관리등분산머신러닝의전반적인과정에서발생할수있는다양한문제를해결하기위한체계적인패턴을소개한다.이를통해AI와데이터과학분야의전문가들뿐만아니라,대규모데이터처리및분석을다루는모든이에게실용적인가이드가될것이다.

주요내용
데이터수집,분산학습,모델서빙등다양한단계로구성된ML파이프라인구축
쿠버네티스,텐서플로,쿠브플로,아르고워크플로를사용해ML작업자동화
다양한패턴과접근방식간의트레이드오프평가
대규모머신러닝작업관리및모니터링