엔터프라이즈 빅데이터 레이크 (효율적인 데이터 레이크 도입과 모범 사례)

알렉스고렐릭

지난30여년간최신데이터기술을개발하고배포해왔으며,BAE(유로파이터,Eurofighter),유니레버(Unilever),IBM,로얄캐리비안(RoyalCaribbean),카이저(Kaiser),골드만삭스(GoldmanSachs)외수십개의대기업을도와가장골치아픈데이터문제를해결해왔다.
ETL기업창업자이자CTO로,대형분석및데이터웨어하우스프로젝트에다년간컨설팅을한경험을통해데이터웨어하우스의발전을직접목격할수있었다.그가세운두번째회사인엑스에로스(Exeros,IBM에서인수)는대기업이자신의데이터를이해하고합리화하는데필요한지원을제공하고있다.IBM최고엔지니어(DistinguishedEngineer)이자인포매티카(Informatica)의SVP겸총책임자로하둡(Hadoop)기술개발과적용을주도해왔다.또한멘로벤처스(MenloVentures)의거주기업가,워터라인(Waterline)의창업자이자CTO로,구글과링크드인,대형은행,정부기관,기타대기업에서빅데이터레이크관리와데이터과학을맡고있는여러업계최고전문가와함께일한경험이있다.컬럼비아대학에서BSCS를받았으며,스탠퍼드대학에서MSCS를취득했고,현재샌프란시스코에서아내와4명의자녀와함께살고있다.

1장.데이터레이크소개
__데이터레이크성숙도
____데이터웅덩이
____데이터연못
__성공적인데이터레이크구축
____올바른플랫폼
____올바른데이터
____올바른인터페이스
____데이터늪
__성공적인데이터레이크로드맵
____데이터레이크구축
____데이터레이크구조화
____셀프서비스를위한데이터레이크설정
__데이터레이크아키텍처
____상용클라우드데이터레이크
____논리데이터레이크
__결론

2장.역사적관점
__셀프서비스데이터욕구:데이터베이스의탄생
__반드시해야하는분석:데이터웨어하우스의탄생
__데이터웨어하우스생태계
____데이터저장및쿼리
____데이터로딩:데이터통합도구
____데이터정리와관리
____데이터사용
__결론

3장.빅데이터와데이터과학소개
__하둡:빅데이터로의역사적인움직임을이끌어내다
____하둡파일시스템
____맵리듀스잡에서처리와저장의상호작용방법
____읽는시점스키마적용
____하둡프로젝트
__데이터과학
__당신의분석조직은어디에초점을맞춰야하는가?
__머신러닝
____설명가능성
____변화관리
__결론

4장.데이터레이크시작
__하둡은무엇이고왜사용하는가
__데이터웅덩이확산방지
__빅데이터활용
____데이터과학주도
____전략1:기존기능가져오기
____전략2:신규프로젝트를위한데이터레이크
____전략3:일원화된거버넌스확립
____자신에게가장맞는전략은무엇인가?
__결론

5장.데이터연못/빅데이터웨어하우스에서데이터레이크로
__데이터웨어하우스의핵심기능
____분석용차원모델링
____다양한소스의데이터통합
____느린변경차원을통한이력보존
____과거데이터저장소로데이터웨어하우스가갖는한계
__데이터연못으로
____데이터연못에이력보관
____데이터연못에느린변경차원구현
__데이터연못을데이터레이크로키우기:데이터웨어하우스에없는데이터가져오기
____미가공데이터
____외부데이터
____사물인터넷과기타스트리밍데이터
__실시간데이터레이크
__람다아키텍처
__데이터변환
__목적시스템
____데이터웨어하우스
____운영데이터스토어
____실시간애플리케이션과데이터제품
__결론

6장.셀프서비스용최적화
__셀프서비스의시작
__비즈니스분석가
____데이터식별과이해:기업을문서로기록
____신뢰구축
____프로비저닝
____분석용데이터준비
__데이터레이크의데이터랭글링
____하둡에서의데이터준비과정
____데이터준비의대표적인사용사례
__분석및시각화
__셀프서비스비즈니스지능의신세계
____새로운분석작업공정
____문지기에서가게주인으로
____셀프서비스거버넌스
__결론

7장.데이터레이크설계
__데이터레이크구조화
____진입또는미가공영역
____골드영역
____작업영역
____민감영역
__다중데이터레이크
____여러데이터레이크를유지할때장점
____데이터레이크를하나로합쳤을때장점
__클라우드데이터레이크
__가상데이터레이크
____데이터연방
____빅데이터시각화
____중복제거
__결론

8장.데이터레이크카탈로그화
__데이터정리
____기술메타데이터
____비즈니스메타데이터
__태깅
____자동카탈로그생성
__논리데이터관리
____민감데이터관리와접근제어
____데이터품질
__이질적데이터연관짓기
__이력수립
__데이터확보
__카탈로그구축도구
____도구비교
__데이터오션
__결론

9장.데이터접근관리
__승인이나접근제어
__태그기반데이터접근정책
__민감정보비식별화
____데이터자주권과규제준수
__셀프서비스접근관리
____데이터확보
__결론

10장.업계적용
__금융서비스에서의빅데이터
____고객,디지털화,데이터는우리가아는금융을바꾸고있다
____은행을구해라
____새로운데이터가제공하는새로운기회
____데이터레이크활용의주요과정
__데이터레이크가금융서비스에제공하는가치
__보험업계의데이터레이크
__스마트시티
__의료에서의빅데이터

★이책에서다루는내용★

■데이터웨어하우스,빅데이터,데이터과학소개
■다양한기업의데이터레이크구축방법
■셀프서비스모델구축방법과데이터제공모범사례탐색
■다양한데이터레이크설계방법적용
■다양한분야의전문가의데이터레이크구현방법

★이책의대상독자★

■데이터서비스및관리팀:최고데이터책임자,데이터관리자
■IT경영진및아키텍트:최고기술책임자,빅데이터아키텍트
■분석팀:데이터과학자,데이터엔지니어,데이터분석가,분석담당자
■감사팀:최고정보보안책임자,데이터보호책임자,정보보안분석가,규정준수담당자

이책은첨단데이터기술을개발하면서세계적인기업들이겪는가장어려운데이터문제를해결하는과정에서얻은30년간의경험을바탕으로저술했다.실무자와업계전문가들의논문과성공사례로알수있는세계적인기업들의모범사례를바탕으로성공적인빅데이터레이크를설계하고배포하는포괄적인지침을제공한다.이처럼매력적인신규빅데이터기술과접근방식이기업에어떤효과를제공하는지궁금하다면이책이좋은출발점이될수있다.관리자라면이책을한번전체적으로읽고나서실무중에빅데이터관련의문이생길때마다주기적으로다시살펴보는것을추천한다.실무자에게는빅데이터레이크프로젝트를계획하거나실행할때활용할수있는지침이된다.

★옮긴이의말★

최근에는사람들에게도움될수있는성능이우수하고신뢰할수있는머신러닝모델을만드는데관심들이많습니다.빅데이터를활용해서만드는머신러닝모델을개발하고모델의신뢰성을확보하려면기반이되는데이터가가장중요할수밖에없습니다.
지금도뉴스를보면자사의빅데이터를분석해좋은인공지능모델을만들고그런모델을활용해서혁신적인성과를거둔기업의사례가보도되고있습니다.그런뉴스를볼때마다부럽다는생각과함께우리도언젠가는저렇게될것이라는확신이듭니다.기업이겪고있는문제를해결하는데필요한데이터는이미기업안에존재한다고믿습니다.그것을어떤방식으로저장하고저장된데이터를어떻게활용하면좋을지전략을짜는것이중요합니다.
이책에서는기업의직원들이데이터저장을꺼리는이유를따져보고,기업의데이터를효과적으로저장하고관리할수있는방법을알려줍니다.관리체계를구축해같은데이터를중복으로구매하는것을방지하고,저장한데이터중민감한데이터는어떤방식으로처리하는것이좋을지도소개합니다.
데이터베이스분야는대부분의용어가영어입니다.국내에서도활발하게사용되기시작한지어느정도시간이지났기때문에용어를원문그대로사용하는것이편한사람이많습니다.이책을옮기는과정중에도원문의의미를해치지않는범위에서업계에서흔히사용하는용어를사용하고자노력했습니다.