쿠브플로우 (쿠버네티스에서 머신러닝이 처음이라면!)

이명환

이명환,두다지엔지니어,
J2ME/WIPI를시작으로개발을시작했고,자바로할수있는대부분의프로젝트를다수수행했다.
최근두다지에서행동인식관련프로젝트등을진행하면서쿠버네티스와쿠브플로우에입문하였고
여기저기핸즈온을통해쿠브플로우를확산시키려노력하고있다.
인간과동물들이즐겁게공생할수있는기술에아주관심이많다.

문근민,두다지COO,
KAIST산업디자인학과졸업,
드론창업에이어서AI스타트업(주)두다지에조인하여딥러닝및클라우드생태계를학습중이다.
인공지능을통한자동화와관련사업개발에관심이많으며,실제로개발을할수있는전략및기획자가되기위해노력중이다

홍석환,두다지대표,
KAIST전산학졸업,넥슨게임개발자,KB투자증권증권데이터분석가,
(현)두다지대표
KubernetesForum2019Seoul기조연설
2020년이화여자대학교겸임교수,
99회컴퓨터시스템응용기술사
두번사업을말아먹고세번째사업중이다.

김효동,두다지CTO,
경희대전자과졸업
2009년창업을하여IOT플랫폼개발을하면서플랫폼이산업에미치는영향과그중요성에대해알게되었고,
4차산업의핵심인인공지능과관련하여개발자들이좀더쉽게접근할수있는AI플랫폼을개발중이다.
Kubernetes&Kubeflow등의opensource기반AI자동화에관심이많으며,
관련내용을주변사람들에게최대한공유하고발전시키려고노력하고있다.

PART01MachineLearning입문

Chatper01머신러닝의기본개념

1.1챕터설명및챕터활용법

1.2머신러닝기초
1.2.1선형회귀(LinearRegression)
1.2.2차원의확장(Multivariablelinearregression)
1.2.3로지스틱회귀(LogisticRegression)
1.2.4소프트맥스회귀(SoftmaxRegression)

1.3기타알아두면좋은개념및팁
1.3.1학습률(learningrate)
1.3.2배치정규화(batchnormalization)
1.3.3과적합(overfitting)
1.3.4딥러닝에대해서

Chatper02딥러닝을이용한이미지분석실습

2.1챕터설명및실습overview

2.2개발환경세팅

2.2.1구글코랩(Googlecolaboratory)설명
2.2.2코랩설치
2.2.3코랩환경설정
2.2.4파이썬및케라스설치

2.3데이터셋준비및CNN모델구축
2.3.1구글드라이브마운트
2.3.2학습데이터셋준비및이미지전처리
2.3.3CNN모델구축
2.3.4데이터셋학습

2.4전이학습(transferlearning)
2.4.1전이학습의개념과모델적용
2.4.2전이학습코드적용

PART02쿠버네티스의머신러닝툴킷!Kubeflow!

Chatper01kubeflow

1.1ML워크플로우
1.1.1ML워크플로우란
1.1.2모델실험단계
1.1.3모델생산단계
1.1.4ML워크플로우툴

1.2kubeflow
1.2.1kubeflow
1.2.2kubeflowcomponentsonMLworkflow
1.2.3쿠베플로우유저인터페이스(UI)
1.2.4API와SDK
1.2.5쿠베플로우컴포넌트들
1.2.6쿠베플로우버젼정책

1.3kubernetes
1.3.0서문
1.3.1컨테이너개발시대
1.3.2쿠버네티스란
1.3.3쿠버네티스구조
1.3.4오브젝트와컨트롤러
1.3.5오브젝트템플릿
1.3.6레이블과셀렉터,어노테이션
1.3.7인그레스
1.3.8컨피그맵
1.3.9시크릿
1.3.10인증과권한

1.4쿠베플로우설치
1.4.1설치조건
1.4.2쿠버네티스설치
1.4.3프라이빗도커레지스트리
1.4.4k9s
1.4.5kfctl
1.4.6배포플랫폼
1.4.7스탠다드쿠브플로우설치
1.4.8DEX버전설치
1.4.9프로파일
1.4.10삭제

Chatper02KubeflowComponents

2.0서론
2.1Dashboard
2.1.1개요
2.1.2로컬에서대쉬보드접속하기

2.2Notebookservers
2.2.1개요
2.2.2노트북생성하기
2.2.3쿠버네티스리소스확인하기
2.2.4커스텀이미지생성
2.2.5TroubleShooting

2.3Fairing
2.3.1소개
2.3.2아키텍처
2.3.3페어링설치
2.3.4페어링설정
2.3.5fairing.config
2.3.6Preprocessor
2.3.7Builder
2.3.8Deployer
2.3.9Config.run
2.3.10Config.fn
2.3.11fairing.ml_tasks

2.4Katib
2.4.1소개
2.4.2하이퍼파라미터와하이퍼라미터최적화
2.4.3뉴럴아키텍처탐색
2.4.4아키텍처
2.4.5Experiment
2.4.6검색알고리즘
2.4.7Metriccollector
2.4.8Component
2.4.9카티브WebUI
2.4.10RestAPI
2.4.11Command-lineinterfaces
2.4.12카티브단독설치

2.5Pipeline
2.5.1소개
2.5.2파이프라인
2.5.3아키택쳐
2.5.3컴포넌트
2.5.4그래프(Graph)
2.5.5런(Run),리커링런(RecurringRun)
2.5.6런트리거(RunTrigger)
2.5.7스텝(Step)
2.5.8Experiment
2.5.9OutputArtifact
2.5.10파이프라인인터페이스
2.5.11파이프라인단독설치
2.5.12파이프라인SDK설치
2.5.13파이프라인SDK패키지둘러보기
2.5.14SDK로파이프라인만들기
2.5.15경랑파이선컴포넌트
2.5.16파라미터(PipelineParam)
2.5.17메트릭스(Matrix)
2.5.18쿠버네티스리소스컴포넌트

2.6TrainingofMLmodels
2.6.1TFJob
2.6.2PyTorchJob
2.6.3MXJob(MXNet)
2.6.4MPIJob
2.6.5ChainerJob

2.7ServingModels
2.7.1개요
2.7.2KFServing
2.7.3InferenceService
2.7.4SeldonServing

2.8Metadata
2.8.1개요
2.8.2설치
2.8.3SDK
2.8.4MetadataWebUI
2.8.5Watcher

Chatper03핸즈온쿠베플로우

3.1TraningMnistwithFairing
3.1.1Notebookprovisioning
3.1.2fashionmnist실행
3.1.3fashionMnist를Fairingjob으로바꾸기
3.1.4Job실행해보기
3.1.5이제잡은그만던져도될꺼같은데

3.2카티브로하이퍼파라미터최적화하기
3.2.1fashionMnist를katibjob으로던질수있게변형하기
3.2.2카티브experimentCRD생성하기
3.2.3jupyternotebook에서katibjob실행하기
3.2.4카티브Trial그래프분석하기

3.3추론모델서버만들어보기
3.3.1모델준비하기
3.3.2KFServing을이용한추론모델서버구성
3.3.3추론모델테스트

3.4파이프라인으로ML워크플로우만들기
3.4.1파이프라인에불륨붙여보기
3.4.2리커링런(RecurringRun)으로스토리지에계속데이터를쌓아보기
3.4.3학습부터서빙까지파이프라인으로

3.5Caltech101최적화
3.5.0개요
3.5.1일단페어링
3.5.2카티브를위한메트릭설정
3.5.3카티브Submit!
3.5.4Trial그래프분석하기
3.5.5노트북에서카티브Experiment실행하기
3.5.6Experiment실행을페어링으로감싸기
3.5.7파이프라인에서Experiment실행해보기
3.5.8카티브결과조회하기