하이브 핵심정리 (하둡 기반 대용량 데이터 저장, 관리의 핵심 솔루션)

다융두

저자다융두(DayongDu)는빅데이터를실제로다루는사람이고,개발자조직을이끌고있으며,기술컨설팅,설계,엔터프라이즈빅데이터솔루션구현에전문지식이많은개발자다.엔터프라이즈데이터웨어하우스,비즈니스인텔리전스,빅데이터와분석분야에10년이상의경력을가지고있으며,방송미디어,여행사,통신사등다양한산업에데이터인텔리전스경험을제공하고있다.현재캐나다의토론토에위치한퀵플레이미디어(QuickPlayMedia)사에서근무하고있으며,온라인미디어서비스와콘텐츠제작자를위한엔터프라이즈빅데이터인텔리젼스리포팅시스템을개발하고있다.댈하우지대학교(DalhousieUniversity)에서컴퓨터과학석사학위를받았고,클라우데라인증아파치하둡개발자인증서(ClouderaCertifiedDeveloperforApacheHadoopcertification)를가지고있다.

1장.빅데이터와하이브소개
__짧은역사
__빅데이터의소개
__관계형데이터베이스와NoSQLvs하둡
__배치,실시간,스트림처리
__하둡생태계의개요
__하이브개요
__요약

2장.하이브환경설정
__아파치에서하이브설치하기
__외부업체패키지에서하이브설치하기
__클라우드에서하이브시작하기
__하이브커맨드라인과비라인사용하기
__하이브통합개발환경
__요약

3장.데이터정의와설명
__하이브의데이터타입이해하기
__데이터타입변환
__하이브데이터정의언어
__하이브데이터베이스
__하이브의내부및외부테이블
__하이브파티션
__Hivebuckets
__하이브뷰
__요약

4장.데이터선택과범위
__SELECT문
__INNERJOIN문
__OUTERJOIN과CROSSJOIN
__특수조인:MAPJOIN
__집합명령:UNIONALL
__요약

5장.데이터조작
__데이터교환-LOAD
__데이터교환:INSERT
__데이터교환:EXPORT와IMPORT
__ORDER와SORT
__명령어와함수
__트랜잭션
__요약

6장.데이터집계와샘플링
__기초적인집계:GROUPBY
__고급집계:GROUPINGSETS
__고급집계:ROLLUP와CUBE
__집계조건:HAVING
__분석함수
__샘플링
__요약

7장.성능고려사항
__성능유틸리티
__EXPLAIN문
__ANALYZE문
__설계최적화
__파티션테이블
__버킷테이블
__인덱스
__데이터파일최적화
__파일포맷
__압축저장소최적화
__작업과쿼리최적화
__로컬모드
__JVM재사용
__병렬실행
__작업최적화
__일반조인
__맵조인
__버킷맵조인
__정렬합병버킷조인
__정렬합병버킷맵조인
__왜곡조인
__요약

8장.확장성고려사항
__사용자정의함수
__UDF코드템플릿
__UDAF코드템플릿
__UDTF코드템플릿
__개발과배포
__스트리밍
__SerDe
__요약

9장.보안고려사항
__인증
__메타저장소서버인증
__HiveServer2인증
__권한레거시권한모드
__저장소기반권한모드
__SQL표준기반모드
__암호화
__요약

10장.다른툴과의연동
__JDBC/ODBC커넥터
__HBase
__Hue
__HCatalog
__주키퍼
__우지
__하이브로드맵
__요약

★이책에서다루는내용★

■하이브환경의생성과셋업
■데이터를설명하는하이브정의언어의사용방법발견.
■하이브의데이터집합에조인과필터링을사용해의미있는데이터발견
■하이브정렬,순서,함수를사용해데이터변환
■데이터집계와샘플링
■하이브쿼리성능개선과데이터보안성향상
■하이브를다른툴과연동하고,사용자정의함수를사용해하이브를최적화

★이책의대상독자★

이책은하둡의데이터를확인하고분석하는데하이브를사용하려는데이터분석가,개발자,사용자를대상으로한다.빅데이터에대해초보자든전문가든,이책을접한독자는하이브의기본기능과고급기능을잘다룰수있게될것이다.
하이브는SQL과같은언어이기때문에,SQL언어와데이터베이스에대한경험이있다면훨씬이해가쉽고,유용하게적용할수있다.

★이책의구성★

1장,‘빅데이터와하이브소개’에서는빅데이터의진화,하둡생태계,하이브를소개한다.
하이브아키텍처와빅데이터분석에서하이브를사용하는장점도살펴본다.
2장,‘하이브환경설정’에서는하이브환경설정을설명한다.하이브를사용한커맨드라인과개발툴도다룬다.
3장,‘데이터정의와설명’에서는하이브의테이블,파티션,버킷,뷰에대한기본데이터타입과데이터정의언어를소개한다.
4장,‘데이터선택과범위’에서는하이브에데이터의쿼리,연결,범위를요청함으로써데이터를찾는방법을보여준다.
5장,‘데이터조작’에서는하이브의데이터를변경,이동,정렬,변환하는과정을설명한다.
6장,‘데이터집계와샘플링’에서는분석함수,윈도우기능,샘플절을사용해집계하는방법과샘플링하는방법을설명한다.
7장,‘성능고려사항’에서는설계,파일포맷,압축,저장소,쿼리,작업관점에서성능고려사항에대한모범사례를소개한다.
8장,‘확장성고려사항’에서는사용자정의함수,스트리밍,직렬화,역직렬화를생성해서하이브를확장하는방법을다룬다.
9장,‘보안고려사항’에서는인증,권한,암호화관점으로하이브의보안영역을소개한다.
10장,‘다른툴과의연동’에서는기타빅데이터툴과어떻게연동할수있는지를다룬다.하이브배포버전의주요이정표를살펴본다.