일래스틱 스택을 이용한 머신러닝 (머신러닝 피처로 데이터에서 귀중한 인사이트를 얻자 | 2 판)

리치콜리어,카밀라몬토넨,바할딘아자미

RichCollier
일래스틱의솔루션아키텍트다.프리러트(Prelert)인수로일래스틱팀에합류해소프트웨어,하드웨어,서비스기반솔루션을위한솔루션설계자및사전판매시스템엔지니어로서20년이상의경험을가지고있다.빅데이터분석,머신러닝,이상탐지,위협탐지,보안운영,애플리케이션성능관리,웹애플리케이션,컨텍센터기술을포함한다.메사추세츠주보스턴에거주하고있다.

1장.IT를위한머신러닝
__IT의역사적도전과제극복
__엄청나게많은데이터처리
__자동화된이상탐지의출현
__비지도ML대지도ML
__이상탐지를위한비지도ML사용하기
____특이에관해정의하기
____정상상태학습하기
____확률모델
____모델학습하기
____디트랜드
____특이성에대한점수화
____시간요소
__데이터프레임분석에지도ML적용하기
____지도학습과정
__요약

2장.활성화와운영화
__기술요구사항
__일래스틱ML기능활성화
____자체관리형클러스터에서ML활성화
____클라우드에서ML활성화-일래스틱서치서비스
__운영화의이해
____ML노드
____작업
____시계열분석에서데이터버킷팅
____일래스틱ML에데이터공급
____제공하는인덱스
______.ml-config
______.ml-state-*
______.ml-notification-*
______.ml-annoataions-*
______.ml-stats-*
______.ml-anomalies-*
____이상탐지오케스트레이션
____이상탐지모델스냅숏
__요약

3장.이상탐지
__기술요구사항
__일래스틱ML작업유형
__탐지기해부
____함수
____필드
____partition필드
____by필드
____over필드
____공식(formula)
__이벤트비율의변화탐지
____카운트함수탐색
____다른카운트함수
______논제로카운트
______디스팅트카운트
__메트릭값에서변화탐지
____메트릭함수
______min,max,mean,median과metric
______varp
______sum,not-nullsum
__고급탐지기함수의이해
____레어(rare)
____프리퀀시레어(frequencyrare)
____정보내용(informationcontent)
____지오그래픽(geographic)
____시간
__범주형피처로분석분할
____분할필드설정
____partition과by_field를사용한분할의차이점
____이중분할에한계가있을까?
__시간분석과모집단분석의이해
__비정형메시지범주화분석
____범주화에훌륭한후보가되는메시지유형
____범주화에사용되는프로세스
____범주분석
____범주화작업예제
____범주화사용을피해야하는경우
__API를통한일래스틱ML관리
__요약

4장.예측
__기술요구사항
__예언과대비되는예측
__예측사용사례
__작업의예측이론
__단일시계열예측
__예측결과검토
__다중시계열예측
__요약

5장.결과해석
__기술요구사항
__일래스틱ML결과인덱스보기
__이상징후점수
____버킷수준스코어링
____정규화
____인플루언서수준점수
____인플루언서
____레코드수준점수
__결과인덱스스키마의세부정보
____버킷결과
____레코드결과
____인플루언서결과
__다중버킷이상징후
____다중버킷이상징후예제
____다중버킷스코어링
__예측결과
____예측결과쿼리
__결과API
____결과API엔드포인트
____전체버킷조회API
____범주조회API
__사용자정의대시보드와캔버스워크패드
____대시보드“임베디블”
____TSVB에서이상징후주석
____캔버스워크패드사용자정의
__요약

6장.ML분석에기반한얼러팅
__기술요구사항
__얼러팅개념이해
____모든이상징후가얼럿일필요는없다
____실시간얼러팅에는타이밍이중요하다
__MLUI에서얼럿작성
____샘플이상탐지작업정의
__샘플작업에대한얼럿생성
____실시간이례적인행위시뮬레이션
____얼럿수신과검토
__와치(watch)로얼럿만들기
____레거시기본ML와치의구조이해
______trigger섹션
______input섹션
______condition섹션
______action섹션
____사용자정의와치는몇가지고유한기능을제공할수있다
______연결된입력과스크립트내의조건
______연결된입력간에정보전달
__요약

7장.AIOps와근본원인분석
__기술요구사항
__AIOps용어의이해
__KPI의중요성과한계이해
__KPI를넘어서
__더나은분석을위한데이터조직화
____이상탐지데이터피드에대한사용자정의쿼리
____수집시데이터강화
__컨텍스트정보활용
____분석분할
____통계적인플루언서
__RCA를위해모든것을통합
____가동중단배경
____상관관계와공유된인플루언서
__요약

8장.다른일래스틱스택앱에서이상탐지
__기술요구사항
__일래스틱APM의이상탐지
____APM에대한이상탐지활성화
____APMUI에서이상탐지작업결과조회
____데이터인식기를통한ML작업생성
__로그앱의이상탐지
____로그카테고리
____로그이상징후
____메트릭앱의이상탐지
__업타임앱의이상탐지
__일래스틱시큐리티앱의이상탐지
____사전구축된이상탐지작업
__탐지얼럿으로서의이상탐지작업
__요약

9장.데이터프레임분석소개
__기술요구사항
__변환하는방법학습
____왜변환이유용한가?
____변환작업의내부구조
____전자상거래주문을분석하기위해변환사용
____더고급수준의피벗과집계구성탐색
____배치변환과연속변환의차이점발견
____연속변환을사용해소셜미디어피드분석
__고급변환구성에페인리스사용
____페인리스소개
____변수,연산자,제어흐름
____함수
__파이썬과일래스틱서치로작업하기
____파이선일래스틱서치클라이언트에대해간략하게둘러보기
____일런드의개발목적이해
____일런드와함께하는첫걸음
__요약
__더읽어보기

10장.아웃라이어탐지
__기술요구사항
__아웃라이어탐지의내부작동이해
____아웃라이어탐지에사용하는4가지기술이해
______거리기반기술
______밀도기반기술
__피처영향력이해
______각점에대한피처영향력은어떻게계산하는가?
____아웃라이어탐지는이상탐지와어떻게다른가?
______확률모델기반대인스턴스기반
______점수화
______데이터특성
______온라인대배치(batch)
__실제아웃라이어탐지적용
__EvaluateAPI로아웃라이어탐지평가
__아웃라이어탐지를위한하이퍼파라미터조정
__요약

11장.분류분석
__기술요구사항
__분류:데이터에서훈련된모델로
____데이터에서분류모델학습
____피처엔지니어링
____모델평가
__분류의첫걸음
__분류의내부구조:그래디언트부스트의사결정트리
____의사결정트리소개
____그래디언트부스트의사결정트리
__하이퍼파라미터
__결과해석
____분류확률
____분류점수
____피처중요도
__요약
__더읽어보기

12장.회귀
__기술요구사항
__회귀분석을사용해주택가격예측
__회귀를위한의사결정트리사용
__요약
__더읽어보기

13장.추론
__기술요구사항
__훈련된모델API및파이썬을사용해훈련된머신러닝모델을검사하고가져오며내보내기
__훈련된모델API살펴보기
____훈련된모델API와파이썬을사용해훈련된모델내보내기와가져오기
__추론프로세서와인제스트파이프라인이해하기
____인제스트파이프라인에서누락되거나손상된데이터처리
____예측에대한더많은통찰력을얻기위한추론프로세서구성옵션사용하기
__일런드를사용해외부모델을일래스틱서치로가져오기
____일런드에서지원하는외부모델에대해알아보기
____scikit-learn의DecisionTreeClassifier로훈련하고일런드를사용해일래스틱서치로가져오기
__요약

부록.이상탐지팁
__기술요구사항
__분할작업대비분할작업의인플루언서이해하기
__단측함수를유리하게사용하기
__기간무시하기
____예정된(알려진)시간윈도무시하기
______캘린더이벤트생성
______원하는타임프레임을무시하기위해데이터피드중지및시작
____예기치못한시간윈도를사후에무시하기
______작업의복제와과거데이터의재실행
______작업을이전모델스냅숏으로되돌리기
__사용자정의규칙과필터유리하게사용하기
____사용자정의규칙만들기
______“하향식”얼러팅철학에대한사용자지정규칙의장점
__이상탐지작업처리량에관한고려사항
__사용사례의과도한엔지니어링방지하기
__런타임필드에서이상탐지사용하기
__요약

◈이책에서다루는내용◈

◆일래스틱스택에서의머신러닝상용기능활성화하기
◆다양한유형의이상징후를탐지하고예측하기
◆IT운영,보안분석및기타사용사례에효과적인이상탐지적용하기
◆사용자정의뷰,대시보드및사전경고에서일래스틱머신러닝의결과활용하기
◆실시간추론을위한지도머신러닝(supervisedmachinelearning)모델훈련과배포하기
◆일래스틱머신러닝활용을위한다양한팁과트릭알아보기


◈이책의대상독자◈

머신러닝전문가나맞춤형개발에의존하지않고일래스틱서치데이터에대한통찰력을얻으려는데이터전문가를대상으로한다.머신러닝을관측가능성(Observability),보안(Security)및분석(Analytics)애플리케이션과통합하려는경우에도유용하다.이책을최대한활용하려면일래스틱스택에대한실무지식이필요하다.


◈이책의구성◈

1장,'IT를위한머신러닝'에서는IT와보안운영에서수동적인데이터분석의역사적과제에대한도입과배경입문서역할을한다.내부에서일어나는일을본질적으로이해하기위해일래스틱머신러닝의작동이론에대한개요를포괄적으로제공한다.
2장,'활성화와운영화'에서는일래스틱스택에서머신러닝을활성화하는방법을설명하고일래스틱머신러닝알고리듬의작동이론도자세히살펴본다.또한일래스틱머신러닝의물류운영도자세히다룬다.
3장,'이상탐지'에서는시계열분석의핵심인자동화된비지도(unsupervised)이상탐지기술을자세히설명한다.
4장,'예측'에서는일래스틱머신러닝의정교한시계열모델을단순한이상탐지이상의용도로사용하는방법을설명한다.예측기능을통해사용자는미래의추세와행동을추정해용량계획과같은사용사례를지원할수있다.
5장,'결과해석'에서는이상탐지및예측결과를완전히이해하고시각화,대시보드및인포그래픽에서장점을활용하는방법을소개한다.
6장,'ML분석에기반한얼러팅'에서는이상탐지를더욱실행가능하게만들기위해일래스틱얼러팅의사전알림기능을머신러닝으로파악한통찰력과통합하는다양한기술을설명한다.
7장,'AIOps와근본원인분석'에서는일래스틱머신러닝을활용해이질적인데이터소스데이터를전체적으로검사하고분석해서분석가에게상관관계뷰를제공하는레거시접근방식측면에서한발더나아간방법을살펴본다.
8장,'다른일래스틱스택앱에서이상탐지'에서는데이터분석에가치를부여하기위해일래스틱스택내의다른앱에서이상탐지를활용하는방법을알아본다.
9장,'데이터프레임분석소개'에서는데이터프레임분석의개념을설명하고,시계열이상탐지와는어떻게다른지,일래스틱머신러닝으로데이터를로드,준비,변환및분석하기위해사용자가사용할수있는도구를다룬다.
10장,'아웃라이어탐지'에서는일래스틱머신러닝과함께데이터프레임분석의아웃라이어탐지분석기능을살펴본다.
11장,'분류분석'에서는일래스틱머신러닝과함께데이터프레임분석의분류분석기능을다룬다.
12장,'회귀'에서는일래스틱머신러닝과함께데이터프레임분석의회귀분석기능을소개한다.
13장,'추론'에서는“추론”을위해(실제로조작가능한방식으로출력값을예측하기위해)훈련된머신러닝모델에대한사용법을살펴본다.
14장,'부록:이상탐지팁'에서는다른장에서는잘맞지않는다양한실용적인조언을담았다.이러한유용한정보는일래스틱ML을최대한활용하는데도움이될것이다.