실무로 배우는 빅데이터 기술 (데이터 수집, 적재, 처리, 분석, 머신러닝까지 | 2 판)

실무로 배우는 빅데이터 기술 (데이터 수집, 적재, 처리, 분석, 머신러닝까지 | 2 판)

$31.59
Description
전문 개발자가 아니어도 약간의 소프트웨어 지식만으로 빅데이터의 A~Z까지 기술들을 구현하고 경험해 볼 수 있는 파일럿 프로젝트 형식으로 구성했다. 빅데이터 시스템 구축에 필요한 실무 요건들을 도출하고 이를 해결하기 위한 빅데이터의 수집, 적재, 처리, 분석 아키텍처와 10여 개의 핵심 기술 요소들을 설명하는 방식으로 독자들이 빅데이터를 더욱 쉽게 이해할 수 있게 돕는다. 이어서 파일럿 프로젝트의 구축 단계를 실습을 통해 직접 따라 해 봄으로써 빅데이터 기술을 이해하는 것을 넘어 실전과 같은 활용 능력을 몸으로 직접 익힐 수 있게 했다.
저자

김강원

금융과통신등다양한분야에서빅데이터와AI관련프로젝트를수행중이다.기술&경험의채우기와비우기를반복하며소소한행복을찾는대한민국IT인이다.

목차

▣01장:빅데이터이해하기
1.1빅데이터의개념
1.2빅데이터의목적
1.3빅데이터활용
1.4빅데이터프로젝트
1.5빅데이터기술의변화
1.6빅데이터구현기술
____수집기술
____적재기술
____처리/탐색기술
____분석/응용기술
1.7빅데이터와보안
____데이터보안
____접근제어보안
1.8마치며

▣02장:빅데이터
____파일럿프로젝트
2.1파일럿프로젝트도메인의이해
____요구사항파악
____데이터셋살펴보기
2.2빅데이터파일럿아키텍처이해
____소프트웨어아키텍처
____하드웨어아키텍처
____구축환경의이해
2.3빅데이터파일럿프로젝트용PC환경구성
____자바설치
____이클립스설치
____오라클버추얼박스설치
____기타개발환경구성
____리눅스가상머신환경구성
2.4빅데이터파일럿서버구성
____CentOS설치
____CentOS환경구성
____가상머신복제
2.5빅데이터클러스터구성
____클라우데라매니저설치
____빅데이터기본소프트웨어설치-하둡,주키퍼등기본구성
____DataNode추가및환경설정
____HDFS명령을이용한설치확인
____주키퍼클라이언트명령을이용한설치확인
2.6스마트카로그시뮬레이터
____로그시뮬레이터설치
2.7파일럿환경관리
2.8마치며

▣03장:빅데이터수집
3.1빅데이터수집개요
3.2빅데이터수집에활용할기술
____플럼
____카프카
3.3수집파일럿실행1단계-수집아키텍처
____수집아키텍처
3.4수집파일럿실행2단계-수집환경구성
____플럼설치
____카프카설치
3.5수집파일럿실행3단계-플럼수집기능구현
____SmartCar에이전트생성
____SmartCar에이전트에Interceptor추가
____DriverCarInfo에이전트생성
3.6수집파일럿실행4단계-카프카기능구현
____카프카Topic생성
____카프카Producer사용
____카프카Consumer사용
3.7수집파일럿실행5단계-수집기능테스트
____SmartCar로그시뮬레이터작동
____플럼에이전트작동
____카프카Consumer작동
____수집기능점검
3.8마치며

▣04장:빅데이터적재I-대용량로그파일적재
4.1빅데이터적재개요
4.2빅데이터적재에활용하는기술
____하둡
____하둡아키텍처
____하둡활용방안
____주키퍼
____주키퍼아키텍처
____주키퍼활용방안
4.3적재파일럿실행1단계-적재아키텍처
____적재요구사항
____적재아키텍처
4.4적재파일럿실행2단계-적재환경구성
____하둡설치
4.5적재파일럿실행3단계-적재기능구현
____SmartCar에이전트수정
4.6적재파일럿실행4단계-적재기능테스트
____플럼의사용자정의Interceptor추가
____플럼의Conf파일수정
____SmartCar로그시뮬레이터작동
____플럼이벤트작동
____HDFS명령어확인
4.7마치며

▣05장:빅데이터적재II-실시간로그/분석적재
5.1빅데이터실시간적재개요
5.2빅데이터실시간적재에활용하는기술
____HBase
____레디스
____스톰
____에스퍼
5.3실시간적재파일럿실행1단계-실시간적재아키텍처
____실시간적재요구사항
____실시간적재아키텍처
5.4실시간적재파일럿실행2단계-실시간적재환경구성
____HBase설치
____레디스설치
____스톰설치
5.5실시간적재파일럿실행3단계-실시간적재기능구현
____카프카Spout기능구현
____SplitBolt기능구현
____HBaseBolt기능구현
____에스퍼Bolt기능구현
____레디스Bolt기능구현
____레디스클라이언트애플리케이션구현
____HBase테이블생성
____스톰Topology배포
5.6실시간적재파일럿실행4단계-실시간적재기능테스트
____로그시뮬레이터작동
____HBase에적재데이터확인
____레디스에적재된데이터확인
____레디스클라이언트애플리케이션작동
____실시간개발환경구성
5.7마치며

▣06장:빅데이터탐색
6.1빅데이터탐색개요
6.2빅데이터탐색에활용되는기술
____하이브
____스파크
____우지
____휴
6.3탐색파일럿실행1단계-탐색아키텍처
____탐색요구사항
____탐색아키텍처
6.4탐색파일럿실행2단계-탐색환경구성
____하이브설치
____우지설치
____휴설치
____스파크설치
____탐색환경의구성및설치완료
6.5탐색파일럿실행3단계-휴를이용한데이터탐색
____HDFS에적재된데이터확인
____HBase에적재된데이터확인
____하이브를이용한External데이터탐색
____하이브를이용한HBase데이터탐색
____데이터셋추가
____스파크를이용한추가데이터셋탐색
6.6탐색파일럿실행4단계-데이터탐색기능구현및테스트
____주제영역1.스마트카상태정보모니터링-워크플로작성
____주제영역2.스마트카운전자운행기록정보-워크플로작성
____주제영역3.이상운전패턴스마트카정보-워크플로작성
____주제영역4.긴급점검이필요한스마트카정보-워크플로작성
____주제영역5.스마트카운전자차량용품구매이력정보-워크플로작성
6.7마치며

▣07장:빅데이터분석
7.1빅데이터분석개요
7.2빅데이터분석에활용기술
____임팔라
____제플린
____머하웃
____머하웃아키텍처
____스쿱
7.3분석파일럿실행1단계-분석아키텍처
____분석요구사항
____분석아키텍처
7.4분석파일럿실행2단계-분석환경구성
____임팔라설치
____스쿱설치
____제플린설치
____머하웃설치
7.5분석파일럿실행3단계-임팔라를이용한데이터실시간분석
____하이브QL를임팔라에서실행하기
____임팔라를이용한운행지역분석
7.6분석파일럿실행4단계-제플린을이용한실시간분석
____제플린을이용한운행지역분석
7.7분석파일럿실행5단계-머하웃과스파크ML을이용한머신러닝
____머하웃추천-스마트카차량용품추천
____스파크ML분류-스마트카상태정보예측/분류
____머하웃과스파크ML을이용한군집-스마트카고객정보분석
7.8분석파일럿실행6단계-스쿱을이용한분석결과외부제공
____스쿱의내보내기기능-이상운전차량정보
7.9마치며

▣08장:분석환경확장
8.1분석환경확장개요
8.2R을이용한회귀분석-스마트카배기량에따른운전자연소득예측
____R설치및환경구성
____R활용방안
____R파일럿실행1단계-분석데이터셋생성
____R파일럿실행2단계-하이브클라이언트라이브러리구성
____R파일럿실행3단계-R에서하이브데이터로드
____R파일럿실행4단계-데이터탐색및회귀모델생성
8.3텐서플로를이용한신경망분석-주행중스마트카의위험징후판별
____설치및환경구성
____텐서플로활용방안
____텐서플로파일럿실행1단계-텐서플로개발환경실행
____텐서플로파일럿실행2단계-텐서플로를이용한딥러닝학습및평가
____텐서플로파일럿실행3단계-텐서보드를이용한학습결과시각화
____텐서플로파일럿실행4단계-플라스크를이용한웹애플리케이션구축

▣부록:실무로배우는빅데이터기술-확장하기(유튜브강의)

출판사 서평

★이책에서다루는내용★

스마트카의빅데이터파일럿프로젝트를단계별로진행하면서빅데이터의수집/적재,처리/탐색,분석/응용영역의아키텍처와활용기술들을다룬다.

◎빅데이터의수집/적재
-빅데이터의개요와파일럿프로젝트의도메인을이해하고,파일럿실습환경을구성한다
-플럼,카프카를이용해스마트카에서발생하는상태정보와운전자의운행정보를수집한다.
-스톰,에스퍼,하둡,HBase,레디스로스마트카의대용량파일과실시간데이터를적재한다.
◎빅데이터의처리/탐색
-하이브,스파크SQL의애드혹쿼리로데이터선택,변환,통합,축소등의전처리작업을한다.
-휴,우지를통해데이터가공/탐색과정을프로세스화해서빅데이터마트를구성한다.
-빅데이터분석결과를하둡에저장하고스쿱을이용해외부RDMS에Export한다.
◎빅데이터의분석/응용
-임팔라,제플린으로스마트카데이터를대상으로고성능인메모리분석을수행하여인사이트를발견하고결과를시각화한다
-스파크ML과머하웃으로스마트카의마트데이터를활용해추천,분류,군집등의머신러닝분석을진행한다.
-R을이용해스마트카운전자의연소득회귀모델과텐서플로/케라스로주행중차량의이상탐지딥러닝모델을만들어RESTAPI서비스를구성한다.