하둡 애플리케이션 아키텍처 (하둡 에코시스템을 활용한 빅데이터 처리)

마크그로버

저자마크그로버는아파치빅탑(ApacheBigtop)의커미터이자아파치센트리(인큐베이팅중)의커미터이자PMC멤버이다.또한아파치하둡,아파치하이브,아파치스쿱,아파치플룸프로젝트의기여자이며아파치하이브를다룬『프로그래밍하이브(ProgrammingHive)』(O’Reilly)의한섹션을저술하였다.

1부.하둡애플리케이션의아키텍처고려사항

1장.하둡데이터모델링
-데이터스토리지옵션
-HDFS스키마디자인
-HBase스키마디자인
-메타데이터관리
-결론

2장.데이터이동
-데이터수집고려사항
-데이터수집옵션
-데이터추출
-결론

3장.하둡데이터프로세싱
-맵리듀스
-스파크
-추상화
-크런치
-캐스케이딩
-하이브
-임팔라
-결론

4장.하둡의일반적인프로세싱패턴들
-패턴:기본키를활용한중복레코드의삭제
-패턴:윈도잉분석
-패턴:시계열갱신
-결론

5장.하둡그래프프로세싱
-그래프란무엇인가?
-그래프프로세싱이란무엇인가?
-분산시스템에서그래프를어떻게처리하는가?
-지라프
-그래프X
-어떤툴을사용해야하는가?
-결론

6장.오케스트레이션
-왜워크플로오케스트레이션이필요한가
-스크립팅의한계
-엔터프라이즈작업스케줄러와하둡
-하둡에코시스템의오케스트레이션프레임워크
-우지용어
-우지개요
-우지워크플로
-워크플로패턴
-워크플로파라미터처리
-클래스경로정의
-패턴스케줄링
-워크플로의실행
-결론

7장.하둡을활용한근접실시간프로세싱
-스트림프로세싱
-아파치스톰
-트라이던트
-스파크스트리밍
-플룸인터셉터
-어떤툴을사용할것인가?
-결론

2부.사례연구

8장.클릭스트림분석
-적용사례정의
-클립스트림분석에하둡사용하기
-설계개요
-스토리지
-수집
-처리
-분석
-오케스트레이션
-결론

9장.부정거래탐지
-끊임없는개선
-대응하기
-부정거래탐지시스템의아키텍처요구사항
-적용사례소개
-상위수준설계
-클라이언트아키텍처
-프로파일저장과추출
-수집
-근접실시간과탐색적분석
-근접실시간프로세싱
-탐색적분석
-다른아키텍처는어떠한가?
-결론

10장.데이터웨어하우스
-데이터웨어하우스구축에하둡사용
-적용사례정의
-OLTP스키마
-데이터웨어하우스:소개와용어
-하둡으로데이터웨어하우스구축
-상위수준설계
-결론

아파치하둡으로총괄적인데이터관리솔루션을구축해보자

이책을통하여아파치하둡으로총괄적인데이터관리솔루션을구축하는일에대한전문가의조언을얻을수있다.많은소스를활용하여하둡에코시스템의다양한요소들을사용하는방법을설명하고,그요소들을독자가처한개별상황에서완성형의애플리케이션으로조화롭게통합해내기위해고려해야할아키텍처요구사항을살펴보는방법으로이론과실무를동시에다루고있다.

하둡애플리케이션에서가장일반적으로사용되는아키텍처의상세한예제가풍부하게제시되어있다.하둡애플리케이션을설계하거나하둡을기존데이터인프라스트럭처에통합할계획이있다면,아래내용들로구성된이책의기술적안내를따라가는것이훌륭한선택이될것이다.

-하둡을사용한데이터저장과모델링에서고려해야할사항
-데이터를시스템의내/외부로이동할때참고할만한최적사례
-맵리듀스,스파크,하이브를포함한데이터프로세싱프레임워크
-중복레코드제거,윈도잉분석사용등일반적인하둡프로세싱패턴
-하둡의대용량그래프프로세싱을위한지라프,그래프X,그외다양한툴
-아파치우지같은워크플로오케스트레이션과스케줄링툴활용법
-아파치스톰,아파치스파크스트리밍,아파치플룸을활용한근접실시간스트림프로세싱
-클릭스트림분석,부정거래탐지,데이터웨어하우스의아키텍처예제

[출판사리뷰]

‘빅데이터’는정보기술에관련된수많은기사와저널,세미나에서가장많이다뤄지고있는단어이며최근에는방송의홍보수단으로이용될만큼일반인에게도친숙한단어다.이와관련하여‘하둡’은기술측면에서빅데이터를언급할때반드시등장하는중요한키워드가되고있다.

이책은하둡에대한소개와하둡을이용해할수있는일,또그일을하기위해어떤식으로개별옵션을구성하고계획해야하는지등을안내하고있다.

이책은다음과내용을제공한다

-하둡생태계를구성하는수많은옵션들을이용하여비즈니스상의문제해결을위한아키텍처를어떻게구성할것인가?
-아키텍처구성관점에서하둡모델링,데이터수집등업무영역을지원하는개별옵션들의구조및배경지식
-만들어낸아키텍처의장단점,실제적용사례까지의폭넓은구성

빅데이터에대한관심이나날이높아지고있는가운데,이를위한기술과방법론이망라된이책이빅데이터전문가로향하는좋은밑거름이될수있다.

누구를위한책인가

하둡에관심이있는초급프로그래머와하둡을이용해실제비즈니스문제를해결하려는현업부서IT담당자에게는충실한참고도서역할을,유사업무진행담당자에게는쓸모있는사례연구서의역할을할수있을것이라기대된다.