프로메테우스 인프라스트럭처 모니터링 (가상머신, 컨테이너 환경의 프로메테우스 모니터링 실습과 활용)

조엘바스토스

인프라보안과자동화에대한배경지식을갖춘오픈소스후원자이자기고자다.프로세스표준화,코드유지관리,코드재사용성을위해항상노력한다.프로메테우스(Prometheus)를기반으로여러조직에서고가용성,내결함성이있는중요엔터프라이즈와웹스케일인프라의설계와구현을주도했다.포르투갈의두유니콘회사와세계에서가장큰트랜잭션기반게임회사에서근무했다.포르투갈시민증의공개키인프라프로젝트에참여해여러정부기관을지원했다.블로그(blog.kintoandar.com)와트위터(@kintoandar)에서활동중이다.

1부.서론
1장.모니터링기초
__모니터링정의
____모니터링의가치
____조직컨텍스트
____모니터링구성요소
__화이트박스와블랙박스모니터링
__메트릭수집의이해
____수집방식의개요
____푸시와풀
____무엇을측정할것인가?
__요약
__질문
__더읽을거리

2장.프로메테우스생태계개요
__프로메테우스를사용한메트릭수집
____프로메테우스아키텍처개요
__익스포터를사용한내부상태노출
____익스포터기본
__알림매니저를사용한알림라우팅및관리
____알림라우트
__데이터시각화
__요약
__질문
__더읽을거리


3장.테스트환경구축
__코드구조
__시스템요구사항
____하드웨어요구사항
____권장소프트웨어
__신규환경설정
____베이그런트로자동배포환경설정연습
____고급배포실습
__요약
__질문
__더읽을거리

2부.프로메테우스시작

4장.프로메테우스메트릭개념

__프로메테우스데이터모델이해
____시계열데이터
____시계열데이터베이스
____프로메테우스로컬스토리지
____프로메테우스데이터모델
__네가지핵심메트릭타입소개
____카운터
____게이지
____히스토그램
____서머리
__종단면과횡단면데이터집계
____횡단면집계
____종단면집계
__요약
__질문
__더읽을거리

5장.프로메테우스서버실행
__프로메테우스환경설정의집중분석
____프로메테우스초기환경설정
____프로메테우스환경설정파일실습
__독립실행형서버에서프로메테우스관리
____서버배포
____환경설정확인
____정리
__쿠버네티스환경에서프로메테우스관리
____정적환경설정
____동적환경설정:프로메테우스오퍼레이터
__요약
__질문
__더읽을거리

6장.익스포터와통합
__테스트환경
____정적인프라테스트환경
____쿠버네티스테스트환경
__운영체제익스포터
____노드익스포터
__컨테이너익스포터
____cAdvisor
____kube-state-metrics
__로그에서메트릭까지
____mtail
____Grok익스포터
__블랙박스모니터링
____블랙박스익스포터
__푸시메트릭
____푸시게이트웨이
__추가익스포터
____JMX익스포터
____HAProxy익스포터
__요약
__질문
__더읽을거리

7장.프로메테우스쿼리:PromQL
__테스트환경
__PromQL기초
____셀렉터
____연산자
____함수
__일반적인패턴과함정
____패턴
____함정
__다중쿼리(복잡한쿼리)
____어떤노드에서노드익스포터가실행되고있는가?
____다른버전의CPU사용량비교
__요약
__질문
__더읽을거리

8장.트러블슈팅과검증
__테스트환경
____배포
____정리
__promtool탐색
____체크
____쿼리
____디버그
____테스트
__로그와엔드포인트검증
____엔드포인트
____로그
__시계열데이터베이스분석
____tsdb도구사용
__요약
__질문
__더읽을거리

3부.대시보드와알림

9장.알림과레코딩규칙정의
__테스트환경
____배포
____정리
__규칙평가의작동방식이해
____레코딩규칙사용
____레코딩규칙의명명규칙
__프로메테우스알림설정
____알림규칙이란?
____알림규칙환경설정
____레이블과주석
____알림지연
__규칙테스트
____레코딩규칙테스트
____알림규칙테스트
__요약
__질문
__더읽을거리

10장.그라파나대시보드검색과생성
__테스트환경
____배포
____정리
__프로메테우스기반그라파나사용법
____로그인화면
____데이터소스
____탐색
____대시보드
____쿠버네티스환경그라파나기동
__자체대시보드개발
____대시보드기초
____대시보드기본생성
____대시보드내보내기
__커뮤니티대시보드탐색
____그라파나대시보드갤러리
____대시보드게시
__프로메테우스기본시각화
____콘솔템플릿사용
____콘솔템플릿기본
__요약
__질문
__더읽을거리

11장.알림매니저
__테스트환경
____배포
____정리
__알림매니저기초
____통지파이프라인
____알림매니저클러스터링
__알림매니저설정
____프로메테우스환경설정
____환경설정파일옵션
____amtool커맨드라인도구
____쿠버네티스환경프로메테우스오퍼레이터와알림매니저
__알림매니저통지연계
____이메일
____채팅
____페이저
____웹훅
____null
__통지사용자정의
____기본메시지포맷
____신규템플릿생성
__모니터링시스템은누가모니터링하는가?
____메타모니터링과교차모니터링
____데드맨스위치알림
__요약
__질문
__더읽을거리

4부.확장성,복원성,유지보수성

12장.올바른서비스디스커버리선택
__테스트환경
____배포
____정리
__서비스디스커버리옵션을통한실행
____클라우드프로바이더
____컨테이너오케스트레이터
____서비스디스커버리시스템
____DNS기반서비스디스커버리
____파일기반서비스디스커버리
__빌트인서비스디스커버리사용
____칸설서비스디스커버리사용
____쿠버네티스서비스디스커버리사용
__사용자정의디스커버리설정
____사용자정의서비스디스커버리개념
____권장접근방식
____사용자정의서비스디스커버리사용
__요약
__질문
__더읽을거리

13장.프로메테우스확장과페더레이션
__테스트환경
____배포
____정리
__샤딩형태의확장
____작업의논리적그룹
____단일작업스케일링문제
____샤딩시고려해야할사항
____샤딩대안
__페더레이션을사용해글로벌뷰설정
____페더레이션설정
____페더레이션패턴
__타노스를사용해규모로서의프로메테우스단점보완
____타노스의글로벌뷰구성요소
__요약
__질문
__더읽을거리

14장.롱텀스토리지와통합
__테스트환경
____배포
____정리
__원격쓰기와원격읽기
____원격쓰기
____원격읽기
__메트릭스토리지옵션
____로컬스토리지
____원격스토리지통합
__타노스원격스토리지와생태계
____타노스생태계
____타노스구성요소
__요약
__질문
__더읽을거리

부록.평가

★이책에서다루는내용★

■모니터링기본개념과프로메테우스구현
■공통인프라스트럭처서비스에서메트릭을추출하는방법
■PromQL의장점과활용방법
■고가용성,내구성,확장성이있는프로메테우스스택을디자인하는방법
■쿠버네티스프로메테우스오퍼레이터의강점
■페더레이션,수직샤딩집계와같은개념
■타노스를사용해클라우드네이티브앱에서완벽한글로벌뷰를구현하고장기보존을확보하는방법

★이책의대상독자★

소프트웨어개발자,클라우드전문가,사이트신뢰성엔지니어,데브옵스엔지니어,인프라보안과성능을유지하기위해신뢰할수있는모니터링과알림시스템을설정하려는시스템관리자를대상으로한다.네트워킹과인프라모니터링에관한기본지식은이책에서다루는개념을이해하는데도움이될것이다.

★이책의구성★

1장,‘모니터링기초’에서는책전반에걸쳐사용되는몇가지주요개념의토대를정립한다.또한프로메테우스가메트릭을수집하는접근방법과논란의여지가있는몇가지사항이스택의설계와아키텍처에필수적인이유도살펴본다.
2장,‘프로메테우스생태계개요’에서는프로메테우스생태계전반에걸쳐고급개요를소개한다.구성요소마다어떤작업을수행하는지와모든것이논리적으로상호운용되는방법을설명한다.
3장,‘테스트환경구축’에서는책에서제공되는테스트환경을사용하는기본방법과다양한구성의유효성을검사하고자테스트환경을점검하는방법을설명한다.
4장,‘프로메테우스메트릭개념’에서는프로메테우스의핵심리소스인메트릭(Metric)을살펴본다.프로메테우스스택을완전히활용,관리,확장하려면올바른이해가필요하다.
5장,‘프로메테우스서버실행’에서는프로메테우스서버를중점적으로다루며,가상시스템과컨테이너의일반사용패턴과전체환경설정프로세스의시나리오를제공한다.
6장,‘익스포터와통합’에서는가장유용한익스포터(Exporter)를소개하고사용방법과관련예제를제공한다.
7장,‘프로메테우스쿼리:PromQL’에서는애드혹집계(adhocaggregation)와시계열의조합을수용할수있고다차원데이터모델을활용할수있는강력하고유연한프로메테우스쿼리언어인PromQL을상세히살펴본다.
8장,‘트러블슈팅과검증’에서는문제를빠르게감지하고해결할수있는유용한지침을제공한다.또한중요한정보를확인할수있도록제공되는엔드포인트활용법과중요한정보를제공하는프로메테우스커맨드라인인터페이스이자검증도구인promtool을살펴본다.
9장,‘알림과레코딩규칙정의’에서는알림규칙과레코딩규칙의사용법과테스트진행과정을다루고관련예제를제공한다.
10장,‘그라파나대시보드검색과생성’에서는기본제공되는콘솔기능뿐만아니라그라파나(Grafana)와대시보드의구성,공유,재사용방법을다루며,프로메테우스스택의시각화구성요소를살펴본다.
11장,‘알림매니저’에서는프로메테우스스택의알림구성요소를소개한다.여러가지알림도구와통합하는방법과중복제거를통해고가용성을실현하도록클러스터링을올바르게설정하는방법을살펴본다.
12장,‘올바른서비스디스커버리선택’에서는다양한서비스디스커버리(ServiceDiscovery)의통합방법을살펴보고,자체통합을구축하는데필요한요구사항과지식을제공한다.
13장,‘프로메테우스확장과페더레이션’에서는프로메테우스스택의확장방법을다루고,샤딩(sharding)과글로벌뷰(globalview)의개념을설명한다.
14장,‘롱텀스토리지와통합’에서는프로메테우스읽기/쓰기엔드포인트의개념을다룬다.그런다음외부스토리지와롱텀(Long-Term)메트릭스토리지통합에따른고려사항을심층적으로살펴본다.마지막으로타노스(Thanos)를사용하는엔드투엔드예제를소개한다.

★옮긴이의말★

프로메테우스는클라우드네이티브컴퓨팅재단에서졸업(graduated)한두번째프로젝트로,다른시계열데이터베이스인인플럭스디비(InfluxDB),그라파이트(Graphite)와달리푸시(PUSH)방식이아닌HTTP를통한풀(PULL)방식의데이터수집을기본으로한다.그로인해쿠버네티스나이스티오(Istio)등의현재가장인기있는CNCF오픈소스들과대부분의모니터링서비스및플랫폼까지모두백엔드로지원하고,특히쿠버네티스클러스터를직접구축하거나운영할때별도의개발없이모니터링시스템을구축할수있다는큰장점이있다.PromQL를활용해다양한형태로데이터를가공해모니터링플랫폼에전달하는역할도할수있고,다양한익스포터(exporter)를사용하거나커스텀메트릭을구현해네트워크장비를비롯한다양한인프라자원의모니터링을통합관리할수있다.
이책을통해베이그런트(Vagrant)기반가상환경에서의핸즈온으로프로메테우스관련생태계와명령어들을직접구동하고경험해보면서프로메테우스도입을검토하거나다른모니터링시스템과비교할수있을것이다.또한2.9.X버전기반실습으로진행되기때문에2.4버전이후변경된점까지확인할수있다.
번역작업을하면서쿠버네티스문서한글화가이드(https://kubernetes.io/ko/docs/contribute/localization_ko/)에서많은도움을받았다.
-김진웅

단일머신으로수천개의타깃(Target)과수백만개의메트릭시계열데이터를처리하는프로메테우스는분명매력적인도구임에틀림없다.프로메테우스는쿠버네티스의확산과함께간단한내부구성요소와메트릭수집/처리과정이간소해국내에서도많은기업과운영환경에서다양한활용사례가생기고있다.더다양하고복잡한클라우드환경에서모니터링환경을구축하려는운영자,개발자에게프로메테우스는아주좋은선택지다.
프로메테우스를기반으로클라우드네이티브모니터링시스템을구축한경험을토대로프로메테우스를처음접하고시작하는독자들께도움이되고자하는마음으로번역을진행했다.번역과정에서프로메테우스에는많은변화가있었고,CNCF생태계와함께다양한유관프로젝트와도구가개발되고있다.
이책은예제코드와함께실제로활용할수있는내용중심으로구성됐으며,프로메테우스를도입하고사용해보고자하는다양한사용자에게도움이될것이다.
프로메테우스는스케일아웃형태의규모에따른확장의제약사항을가진부분에서다양한접근방식으로노력중이며,더욱복잡해지는비즈니스와IT환경에서큰역할을할것으로기대한다.
-문진수