아파치 카프카로 데이터 스트리밍 애플리케이션 제작 (기업용 메시징 대기열 시스템의 설계와 구축 방법)

매니시쿠마

저자매니시쿠마(ManishKumar)
인도의데이터메티카솔루션유한회사(DataMeticaSolutionPvt.Ltd.)의테크니컬아키텍트다.데이터와제품의아키텍트로약11년간데이터관리분야에서근무했다.효율적인ETL파이프라인제작과하둡(Hadoop)을아우르는보안적용,데이터사이언스문제에최선의솔루션을제공하는경험이풍부하다.빅데이터세상에합류하기전에는인도의시어스홀딩(SearsHolding)사에서테크리드(TechLead)로근무했다.정보기술분야에서학사학위를받았으며,하둡이나하둡보안과관련된빅데이터개념을다루는여러모임에서주요강사로활동하고있다.

1장.메시징시스템소개
__메시징시스템의기본원칙
__메시징시스템의이해
__지점간메시징시스템
__게시-구독메시징시스템
__AMQP
__빅데이터스트리밍애플리케이션에메시징시스템사용하기
__요약

2장.카프카소개,분산메시징플랫폼
__카프카의유래
__카프카의구조
__메시지토픽
__메시지파티션
__복제와복제로그
__메시지프로듀서
__메시지컨슈머
__주키퍼의역할
__요약

3장.카프카프로듀서
__카프카프로듀서의내부구조
__카프카프로듀서API
____프로듀서객체와ProducerRecord객체
____사용자정의파티션
____추가프로듀서설정
__자바카프카프로듀서예제
__일반적인메시지게시유형
__카프카프로듀서모범사례
__요약

4장.카프카컨슈머
__카프카컨슈머내부구조
____카프카컨슈머의역할이해
__카프카컨슈머API
____컨슈머설정
____구독과폴링
____커밋처리와폴링
____추가설정
__자바카프카컨슈머
__스칼라카프카컨슈머
____리밸런스리스너
__일반적인메시지사용유형
__모범사례
____요약

5장.카프카스파크스트리밍애플리케이션개발
__스파크소개
____스파크의구조
____스파크의핵심요소
____스파크운영환경
__스파크스트리밍
____수신자기반통합방식
__직접접근방식
__로그처리활용사례-사기IP감지
____메이븐
__프로듀서
____속성리더
요약

6장.카프카스톰애플리케이션개발
__아파치스톰소개
____스톰클러스터구조
____스톰애플리케이션의개념
__아파치헤론소개
____헤론의구조
__아파치카프카와아파치스톰의통합-자바
____예제
__아파치카프카와아파치스톰의통합-스칼라
__활용사례-스톰,카프카,하이브를사용한로그처리
____프로듀서
__스톰애플리케이션
____프로젝트실행
__요약

7장.컨플루언트플랫폼에서의카프카활용
__컨플루언트플랫폼소개
__컨플루언트구조
__카프카커넥트와카프카스트림의이해
____카프카스트림
__스키마레지스트리를사용한에이브로다루기
__카프카데이터의HDFS이전
____캐머스
____고블린
____카프카커넥트
____플룸
__요약

8장.카프카를사용한ETL파이프라인제작
__ETL파이프라인에서의카프카활용을위한고려사항
__카프카커넥트소개
__카프카커넥트심층분석
__카프카커넥트소개예제
__카프카커넥트의일반적인활용사례
__요약

9장.카프카스트림을사용한스트리밍애플리케이션개발
__카프카스트림소개
____스트림처리에카프카사용하기
____카프카스트림-가벼운스트림처리라이브러리
__카프카스트림구조
__통합프레임워크의장점
__테이블과스트림의이해
____메이븐의존성
____카프카스트림단어수세기예제
____KTable
__카프카스트림활용사례와예제
____카프카스트림의메이븐의존성
____PropertyReader
____IP레코드프로듀서
____IP룩업서비스
____사기감지애플리케이션
__요약

10장.카프카클러스터구축
__카프카클러스터내부구조
____주키퍼의역할
____복제
____메타데이터요청처리
____프로듀서요청처리
____컨슈머요청처리
__용량계획
____용량계획의목표
____복제팩터
____메모리
____하드드라이브
____네트워크
____CPU
__단일클러스터설치
__다중클러스터설치
__브로커해제
__데이터마이그레이션
__요약

11장.빅데이터애플리케이션에카프카활용하기
__카프카의대용량데이터관리
____적합한하드웨어선택
____프로듀서의읽기와컨슈머의쓰기를위한선택
__카프카의메시지전송체계
____최대한번전송
____최대한번전송
____정확히한번전송
__빅데이터와일반적인카프카활용형태
__카프카와데이터거버넌스
__알림과모니터링
__유용한카프카측정지표
____프로듀서지표
____브로커지표
____컨슈머지표
__요약

12장.카프카보안
__카프카보안개요
__SSL을사용한전송암호화
____카프카에서SSL을활성화하는과정
____카프카브로커에대한SSL설정
____카프카클라이언트SSL설정
__인증을위한커베로스SASL
____카프카에서SASL/GSSAPI를활성화하는과정
__ACL과권한인증이해
____일반적인ACL동작
__주키퍼인증이해
__권한인증을위한아파치레인저
____레인저에카프카서비스추가
____정책추가
__모범사례
__요약

13장.스트리밍애플리케이션설계의고려사항
__처리시간과처리량
__데이터와상태정보의지속성
__데이터소스
__외부데이터룩업
__데이터형식
__데이터직렬화
__병렬처리수준
__순서가바뀐이벤트
__메시지처리체계
__요약

★이책에서다루는내용★

아파치카프카의기초개념
스트리밍애플리케이션의기본구성
스파크,스톰,헤론을사용한효과적인카프카스트리밍애플리케이션설계
메시징시스템에대한빠른처리속도와고성능,고가용성지원의중요성이해
카프카애플리케이션구축과정에서필요한효과적인용량계획수립
모범적인보안적용사례에대한이해와구현

★이책의대상독자★

카프카환경에서가장쉽고가능한방법으로아파치카프카의다양한도구를사용하는방법을배우려는독자를위한책이다.약간의자바프로그래밍경험이있으면이책을이해하기더쉽다.

1장,‘메시징시스템소개’에서는메시징시스템의개념을비롯한전반적인사항과기업의관련요구사항을설명한다.지점간(pointtopoint)또는게시및구독(publish/subscribe)형태의메시징시스템을활용하는여러방법을알아본다.AMQP(AdvancedMessageQueuingProtocol)도다룬다.

2장,‘카프카소개’에서는분산메시징플랫폼으로서의카프카를소개한다.카프카구조와내부구성요소를다룬다.그리고카프카구성요소의역할,중요성등과함께카프카메시징시스템안에서각각의구성요소가응답시간,신뢰성,확장성을어떻게지원하는지알아본다.

3장,‘카프카프로듀서(KafkaProducers)’에서는카프카시스템에메시지를게시하는방법을설명한다.카프카프로듀서API와사용법을더자세하게알아본다.자바와스칼라(Scala)프로그램언어로카프카프로듀서API를사용하는예를살펴본다.카프카토픽(KafkaTopic)으로메시지를공급하기위한프로듀서의메시지흐름과몇가지일반적인유형을깊이있게다룬다.또한카프카프로듀서의성능을최적화하기위한기술을살펴본다.

4장,‘카프카컨슈머(KafkaConsumers)’에서는카프카시스템에서메시지를사용하는방법을다루고,카프카컨슈머API와활용법을설명한다.자바와스칼라프로그램언어로카프카컨슈머API를사용하는예를살펴본다.카프카토픽으로메시지를사용하기위한컨슈머의메시지흐름과몇가지일반적인유형을깊이있게다룬다.또한카프카컨슈머의성능을최적화하기위한기술을살펴본다.

5장,‘카프카스파크스트리밍애플리케이션개발’에서는아파치스파크(Spark)같이널리사용되는분산처리엔진을사용해카프카와통합하는방법을다룬다.스파크를사용한카프카의통합을위한여러접근방법과장단점에대한전반적사항을설명한다.실제범례를통한자바와스칼라의예제를보여준다.

6장,‘카프카스톰(Storm)애플리케이션개발’에서는아파치스톰처럼널리쓰이는실시간처리엔진으로카프카를통합하는방법을다룬다.또한아파치스톰과아파치헤론(Heron)에대한전반적인사항을설명한다.아파치스톰과카프카를사용해이벤트처리가보장되는방법을포함한여러가지이벤트처리예제를보여준다.

7장,‘컨플루언트(Confluent)플랫폼에서의카프카활용’에서는컨플루언트라는새로운스트리밍플랫폼,즉여러부가기능을사용해효과적으로카프카를사용하도록지원하는방법을예제와함께다룬다.

8장,‘카프카를활용한ETL파이프라인제작’에서는카프카커넥트(KafkaConnect),카프카를포함하는ETL(extract,transform,load)파이프라인을만들기위한공통구성요소를다룬다.ETL파이프라인에서카프카커넥트를어떻게활용하는지살펴보고,관련된기술적개념을깊이있게논의한다.

9장,‘카프카스트림을활용한스트리밍애플리케이션개발’에서는카프카0.10릴리즈에포함된카프카스트림(KafkaStream)을사용해스트리밍애플리케이션을제작하는방법을다룬다.카프카스트림을사용하는예제와빠르고신뢰할수있는스트리밍애플리케이션을만드는과정을살펴본다.

10장,‘카프카클러스터구축’에서는기업용운영시스템수준에서의카프카클러스터(cluster)구축을집중해서다룬다.카프카클러스터에관련된용량계획,단일또는다중클러스터구축등의깊이있는주제를설명한다.또한멀티테넌트(multi-tenant)환경에서카프카를관리하는방법을다룬다.카프카데이터마이그레이션(migration)과정에포함돼야할여러단계를살펴본다.

11장,‘빅데이터애플리케이션을위한카프카활용’에서는빅데이터애플리케이션으로서카프카의활용을다양한관점에서살펴본다.카프카에서많은양의데이터를관리하는방법,메시지의전송을견고하게보장하는방법,데이터손실이없는장애처리방법,빅데이터파이프라인을사용할때적용되는거버넌스에필요한원칙을다룬다.

12장,‘카프카보안’에서는카프카클러스터의보안을다룬다.사용자인증(authentication)과권한인증(authorization)의동작원리를예제와함께살펴본다.

13장,‘스트리밍애플리케이션설계의고려사항’에서는스트리밍애플리케이션을만들기위해설계할때고려할사항을다룬다.병렬성(parallelism)과메모리조정등과같은내용을여러관점에서설명한다.스트리밍애플리케이션을설계하기위한다양한이론을이해하기쉽게설명한다.