기초부터 다지는 ElasticSearch 운영 노하우 (기본 개념부터 클러스터 구축, 실무 활용 시나리오까지)

박상헌

다음에시스템엔지니어로처음입사하였고,현재는카카오에서엔지니어업무와함께사내ElasticSearch클러스터를구성/관리하고있다.항상새로운기술을배우고자노력하며,좋은사람들과함께그러한기술들을끊임없이연구하고있다.또한,ElasticSearch구축을위한교육을소규모로진행하고있다.

1장ElasticSearch훑어보기
1.1ElasticSearch란
1.2RPM으로ElasticSearch설치하기
1.3DEB로설치하기
1.4tar파일로설치하기
1.5마치며

2장ElasticSearch기본동작
2.1문서색인과조회
2.2문서검색하기
2.3문서분석하기
2.4마치며

3장ElasticSearch모니터링
3.1Head를이용해서모니터링하기
3.2프로메테우스를활용한클러스터모니터링
3.3X-Pack모니터링기능을활용한클러스터모니터링
3.4마치며

4장ElasticSearch기본개념
4.1클러스터와노드의개념
4.2인덱스와타입
4.3샤드와세그먼트
4.4프라이머리샤드와레플리카샤드
4.5매핑
4.6마치며

5장클러스터구축하기
5.1elasticsearch.yml설정파일
--5.1.1Cluster영역
--5.1.2Node영역
--5.1.3Path영역
--5.1.4Memory영역
--5.1.5Network영역
--5.1.6Discovery영역
--5.1.7Gateway영역
--5.1.8Various영역
--5.1.9노드의역할정의
5.2jvm.options설정파일
5.3클러스터사용하기
5.4마치며

6장클러스터운영하기
6.1버전업그레이드
6.2샤드배치방식변경
6.3클러스터와인덱스의설정변경
6.4인덱스API
--6.4.1open/closeAPI
--6.4.2aliasesAPI
--6.4.3rolloverAPI
--6.4.4refreshAPI
--6.4.5forcemergeAPI
--6.4.6reindexAPI
6.5템플릿활용하기
6.6마치며

7장클러스터성능모니터링과최적화
7.1클러스터의상태확인하기
7.2노드의상태와정보확인하기
7.3인덱스의상태와정보확인하기
7.4샤드의상태확인하기
7.5statsAPI로지표확인하기
--7.5.1클러스터의성능지표
--7.5.2노드의성능지표
7.6성능확인과문제해결
--7.6.1색인성능살펴보기
--7.6.2검색성능살펴보기
--7.6.3GC성능살펴보기
--7.6.4rejected살펴보기
7.7마치며

8장분석엔진으로활용하기
8.1ElasticStack이란
8.2Filebeat설치하기
8.3Logstash설치하기
8.4Kibana를통해로그조회하기
8.5Kibana로시각화하기
8.6ElasticStack의이중화
8.7마치며

9장검색엔진으로활용하기
9.1invertedindex란
9.2analyer살펴보기
9.3analyzer와검색의관계
9.4SearchAPI
9.5QueryDSL이란
9.6QueryContext
9.6.1match쿼리
9.6.2match_phrase쿼리
9.6.3multi_match쿼리
9.6.4query_string쿼리
9.7FilterContext
9.7.1term쿼리
9.7.2terms쿼리
9.7.3range쿼리
9.7.4wildcard쿼리
9.8boolquery를이용해쿼리조합하기
9.9마치며

10장색인성능최적화
10.1정적매핑적용하기
10.2_all필드비활성화
10.3refresh_interval변경하기
10.4bulkAPI
10.5그외의색인성능을확보하는방법들
10.6마치며

11장검색성능최적화
11.1ElasticSearch캐시의종류와특성
--11.1.1NodeQueryCache
--11.1.2ShardRequestCache
--11.1.3FieldDataCache
--11.1.4캐시영역클리어
11.2검색쿼리튜닝하기
11.3샤드배치결정하기
11.4forcemergeAPI
11.5그외의검색성능을확보하는방법들
11.6마치며

12장ElasticSearch클러스터구축시나리오
12.1시나리오#1-일100GB데이터분석용클러스터
12.2시나리오#2-일1GB의데이터분석과장기간보관용클러스터
12.3시나리오#3-일100GB의데이터분석과장기간보관클러스터
12.4시나리오#4-검색엔진으로활용하는클러스터
12.5마치며

부록Acurator를이용한클러스터관리
A.1curator설치하기
A.2config파일설정하기
A.3오래된인덱스삭제하기
A.4스냅샷생성하기
A.5forcemerge작업
A.6allocation작업
A.7여러개의작업조합하기
A.8마치며

부록B스냅샷생성과복원하기
B.1플러그인설치하기
B.2리포지터리생성하기
B.3스냅샷생성하기
B.4스냅샷복원하기
B.5마치며

부록CElasticSearch7.x에서변경된사항
C.1디스커버리설정변경사항
C.2인덱스동작방식변경사항
C.3매핑타입의변경사항
C.4readOnly상태의인덱스와DiskWatermark설정에대한변경사항
C.5templateAPI와index_templateAPI
C.6그외변경된사항들
C.7마치며

ElasticSearch는분산형오픈소스검색엔진/분석엔진으로,설치와사용이쉽고방대한양의데이터를빠르게저장,검색,분석할수있어다양한분야에활용되고있다.Filebeat,Logstash,Kibana와함께ElasticStack의구성요소이기도하다.
이책은ElasticSearch설치부터핵심개념,클러스터구축방법,성능최적화,모니터링,검색엔진/분석엔진으로활용하는방법,ElasticStack구축방법에이르기까지ElasticSearch에관한내용을전반적으로다룬다.또한저자의풍부한실무경험을바탕으로한상황별시나리오를제공하여개발자들이현장에서바로적용해볼수있도록구성했다.

좋은소프트웨어를제대로사용하려면상당한노력과경험이필요하다.ElasticStack또한대규모실시간분산데이터플랫폼의특성상운영환경최적화에요구되는기술과경험의정도가높고연관기술들에대한상당한지식도필요하다.이책은이런과정을단축시켜줄수있는책이다.저자들은3,000대규모의ElasticStack을운영하면서여러가지문제를해결한노하우를책속에잘녹여냈으며다양한예제와실행코드를포함시켰다.뿐만아니라ElasticSearch의핵심개념들을이해하기쉽게잘설명하고있다.단순사용법을넘어ElasticStack을제대로배우려는분이나업무에이미ElasticStack을사용하고있는분들에게특히추천하고싶다.
-한상욱

국내최대규모의ElasticSearch클러스터운영노하우를집약한책으로,ElasticSearch의개념부터구축,운영,모니터링,최적화,활용까지한눈에볼수있도록정리했습니다.특히ElasticSearch클러스터의성능최적화,이중화방법,문제해결등과분석엔진과검색엔진으로ElasticSearch를구성할때참고할수있는시나리오별최적의클러스터구성예제는필드에서의오랜경험에서만나올수있는최고의레퍼런스입니다.이책을통해서공식문서나기존의책으로는익힐수없던것들을경험하여ElasticSearch전문가가될수있을것입니다.적극추천합니다.
허명주(카카오인프라팀팀장)