나만의 데이터 분석 플랫폼 엘라스틱서치 (키바나와 함께하는 빅데이터 시스템 구축 및 데이터 시각화)

주정남

2011년부터관세청수출입적하목록취합시스템구축을시작으로관세청의수출입관련업무전문가이자개발자로서경험을쌓았다.2017년부터는관세청의빅데이터분석사업에개발자로투입되어사업을수행해왔고,2019년부터는역할을확장하여관세데이터분석가로서의경험을쌓고있는중이다.

지금은케이씨넷에근무하면서성균관대학교지능정보융합원데이터사이언스융합학과석사과정을병행하고있다.또한블로그(http://blog.naver.com/xomyjoung)및유튜브(https://www.youtube.com/c/주차장TV)를운영하며엘라스틱서치를포함한다양한분야를공부하고정리한자료를공유하고있다.

2008~2010이썸테크,유통망EDI중계시스템개발및유지보수(신세계I&C)
2010~2011지프런티어,웹포털사이트구축프로젝트수행
2011~2017케이씨넷,관세청수출입적하목록취합시스템구축및유지보수
2017~2021케이씨넷,관세청빅데이터그래프DB기반분석사업수행(FINDER시스템구축)
-여행자동행관계분석(금괴,마약,가짜상품등의우범자)
-체납자관계분석(우회수입체납자)
-적하목록연관관계분석(우범업체와일반업체간)

PART01엘라스틱서치(Elasticsearch)소개
1탄생배경
2엘라스틱서치구성및소개
2.1엘라스틱서치
2.2로그스태시(Logstash)
2.3비츠(Beats)
2.4키바나(Kibana)

PART02알고가면도움이되는엘라스틱서치의API
1집계합수(Aggregations)
2검색기능(QueryDSL)
3스크립트코딩(Scripting)
4매핑API(MappingAPI)

PART03데이터분석플랫폼구축(Elasticsearch)
1엘라스틱서치환경구축
1.1준비물
1.2설치
2키바나환경구축
2.1준비물
2.2설치
3엘라스틱서치분산환경구축
3.1준비물
3.2설치
4로그스태시환경구축
4.1준비물
4.2설치
5비츠환경구축
5.1준비물
5.2설치

PART04데이터를적재하는노하우
1데이터적재를위한준비
2파일기반적재방법
3비츠기반의데이터적재
4로그스태시기반의데이터적재
4.1다양한플러그인
4.2실습환경준비
5스프링프레임워크기반의적재

PART05적재된데이터의확인및활용법
1엘라스틱서치데이터점검방법
2키바나의인덱스패턴등록
2.1Fields
2.2Scriptedfields
2.3Sourcefilter
3데이터를확인하는방법
3.1메뉴영역
4데이터속성을점검하는방법
4.1엘라스틱서치데이터적재전에인덱스를꼭만들어라
4.2인덱스자동생성시Field별데이터타입확인은필수
5GIS속성을사용하는방법(GeoPoint)
5.1알고넘어가기
5.2인덱스준비
5.3데이터준비
5.4인덱스데이터적재결과확인
5.5지도시각화

PART06키바나의강력한시각화기능
1공통메뉴
2Discover
2.1조회기간설정
2.2Search(키워드검색)
2.3Filter(Field별필터적용)
2.4Index선택기능
2.5Field목록
2.6시계열차트
2.7데이터목록조회기능
3Visualization
3.1Lens(Beta)
3.2Area
3.3Controls(인큐베이팅)
3.4DataTable
3.5Gauge
3.6Goal
3.7HeatMap
3.8HorizontalBar
3.9Line
3.10Maps
3.11Markdown
3.12Metric
3.13Pie
3.14TagCloud
3.15Timelion
3.16Vega
3.16.1VerticalBar
3.17TSVB
4Dashboard
5Canvas
6Maps
7MachineLearning
8Metric
9Logs
10APM
11Uptime
12SIEM
13DevTools
14Monitoring
15Management

PART07키바나의시각화결과를내시스템에적용
1시각화기능임베디드(Export)
1.1키바나의시각화기능내보내기
1.2외부로가져온대시보드활용방법
2Nginx를이용한무인증키바나환경구축

PART08적용사례와활용아이디어소개
1엘라스틱서치도입시참고할내용
2국내수출/입공급망패턴분석사례
3데이터품질확인을위한키바나활용법
4JAVA에서대시보드를자동생성하는방법(Import/Export)

이책의특징
-엘라스틱서치를빠르고쉽게활용할수있는시각화도구키바나를집중적으로배운다.
-데이터분석가나개발자의도움없이데이터를시각화하고결과물을응용할수있다.
-마우스만으로데이터를적재하고시각화대시보드를구성할수있는방법을제시한다.

이책이필요한독자
-엘라스틱서치를이용하여데이터분석플랫폼을구성해보고싶은분
-보유중인업무데이터(액셀,CSV)만으로고품질의대시보드를만들어보고싶은분
-운영중인시스템을실시간으로모니터링할수있는오픈소스플랫폼을찾는분

독자대상
초중급

소스코드다운로드
https://github.com/bjpublic/elasticsearch

엘라스틱서치에곁들여배포되는키바나는사용자의편의성을최대치로끌어올려매우편리한UI가특장점인시각화플랫폼이다.키바나사용자는키보드를두드리는일보다마우스를조작하는일이더많다.엘라스틱서치를접하는분들은데이터수집과정에서반드시소스코딩을해야한다.하지만개인용으로활용하면서자신의데이터를시각화하는일에는마우스조작만으로도다채로운결과를얻으리라생각한다.

만일데이터분석이꼭필요한일이생긴다면,별도의분석사업을수행하든가시스템을개편하여요청에의해데이터분석을수행해야할것이다.하지만엘라스틱서치의쉬운사용법을익혀데이터를적재하고시각화해내는능력을획득한다면,앞으로데이터를바라보는시각이나활용도를넓히게될것이다.이책을통해많은분이데이터분석과시각화에한걸음더가까이다가가길바란다