자바와 파이썬으로 만드는 빅데이터 시스템 (하둡, 카프카, 아파치 스파크로 연결하는 나만의 빅데이터 전처리 파이프라인 구현)

황세규

연세대학교에서기계공학을전공했고동대학원에서석사학위를취득하였다.소프트웨어사업을천직으로여기며끊임없는자기계발과인사이트를찾으려하는기술작가다.오픈소스기술이가져오는열린마음,포용적이고개방적인영향력을체험하며오픈소스관련개발언어와서비스에대한서적을집필하고있다.《Eclipse와JBoss7을이용한Java웹서비스구축》(홍릉과학출판사),《빅데이터프로그래밍》(지앤선)을집필하였다.

머리말viii
베타리더후기xii

CHAPTER1빅데이터개론1
1.1빅데이터란?1
1.2빅데이터저장과분석12
1.3데이터전처리와람다아키텍처23

CHAPTER2개발통합환경29
2.1자바설치29
2.2파이썬설치34
2.3이클립스설치및설정39
2.4저장소설치51
2.5실습데이터63

CHAPTER3하둡파일시스템I89
3.1하둡구조및기능89
3.2하둡파일시스템설치및설정93
3.3하둡파일시스템API114

CHAPTER4하둡파일시스템II129
4.1자바실습프로젝트129
4.2파이썬실습프로젝트172

CHAPTER5카프카를이용한데이터송수신197
5.1카프카의개념과기능197
5.2카프카설치및설정202
5.3카프카메시지서비스의API211
5.4자바실습프로젝트224
5.5파이썬실습프로젝트231

CHAPTER6아파치스파크배치작업I237
6.1아파치스파크의개념과하부프로젝트237
6.2아파치스파크설치및설정242
6.3아파치스파크SQLAPI252

CHAPTER7아파치스파크배치작업II295
7.1자바실습프로젝트295
7.2파이썬실습프로젝트306

CHAPTER8아파치스파크스트리밍작업317
8.1아파치스파크의구조화스트리밍개념317
8.2아파치스파크구조화스트리밍API322
8.3자바실습프로젝트329
8.4파이썬실습프로젝트335

CHAPTER9MySQL데이터작업341
9.1관계형데이터베이스정의와개념341
9.2SQL및PythonAPI347
9.3파이썬실습프로젝트376

CHAPTER10몽고디비데이터작업389
10.1몽고디비개념과특징389
10.2몽고디비API394
10.3파이썬실습프로젝트406

찾아보기415

이책은빅데이터서비스에대한알기쉬운설명과난도가높지않은실습프로젝트를활용하여빅데이터분야에입문하려는개발자,소프트웨어전공자,학생들에게최고의입문서가될것입니다.

● 빅데이터오픈소스의내부아키텍처와각종기능의API에대한고찰없이클라우드에서제공하는서비스를사용만했다면,이제여러분의로컬환경에서이런서비스를직접구현하여빅데이터서비스의구조와기능에대한넓은경험과통찰력을얻을수있다.
● 자바와파이썬API를모두제공하여자바의객체지향적프로그래밍과스크립트언어인파이썬의간결하고파이썬다운(Pythonic)코딩을경험할수있으며,윈도우와리눅스모두에서폭넓게시스템을구축한다.
● 각서비스의끝단을연동하여파이프라인을구현함으로써하둡,카푸카,아파치스파크로이어지는데이터가공과변환,MySQL,MongoDB적재에대한기술지식과구현노하우를익힐수있다.

대상독자
*다양한분야에서자바와파이썬을공부하려는소프트웨어전공학생및취준생
*빅데이터분야에관심을갖고첫발을디디려는현업개발자및직장인
*빅데이터클라우드를구축하기위해필요한통찰력을얻으려는사내클라우드담당자