견고한 데이터 엔지니어링 : 데이터 파이프라인 설계와 구축의 핵심 원칙

조라이스,맷하우슬리

(JoeReis)
데이터업계에20년동안몸담은비즈니스마인드의데이터괴짜.통계모델링,예측,머신러닝,데이터엔지니어링,데이터아키텍처등다양한업무를담당했다.미국유타주솔트레이크시티에위치한데이터엔지니어링및아키텍처컨설팅업체인터너리데이터(TernaryData)의CEO이자공동설립자다.현재여러기술그룹에서자원봉사를하고있으며유타대학교에서강의도한다.여가시간에는암벽등반,전자음악제작등을즐기며,아이들과함께멋진모험을떠나는것을좋아한다.

[PARTI데이터엔지니어링기반구축하기]

CHAPTER1데이터엔지니어링상세
_1.1데이터엔지니어링이란?
_1.2데이터엔지니어링기술과활동
_1.3조직내데이터엔지니어
_1.4결론
_1.5참고문헌

CHAPTER2데이터엔지니어링수명주기
_2.1데이터엔지니어링수명주기란?
_2.2데이터엔지니어링수명주기의드러나지않는주요요소
_2.3결론
_2.4참고문헌

CHAPTER3우수한데이터아키텍처설계
_3.1데이터아키텍처란?
_3.2우수한데이터아키텍처의원칙
_3.3주요아키텍처개념
_3.4데이터아키텍처의사례및유형
_3.5데이터아키텍처설계담당자는누구인가?
_3.6결론
_3.7참고문헌

CHAPTER4데이터엔지니어링수명주기전체에걸친기술선택
_4.1팀의규모와능력
_4.2시장출시속도
_4.3상호운용성
_4.4비용최적화및비즈니스가치
_4.5현재vs미래:불변의기술과일시적기술비교
_4.6장소:온프레미스,클라우드,하이브리드클라우드,멀티클라우드
_4.7구축과구매비교
_4.8모놀리식과모듈식비교
_4.9서버리스와서버비교
_4.10최적화,성능,벤치마크전쟁
_4.11데이터엔지니어링수명주기의드러나지않는요소
_4.12결론
_4.13참고문헌

[PARTII데이터엔지니어링수명주기심층분석]

CHAPTER51단계:원천시스템에서의데이터생성
_5.1데이터원천:데이터는어떻게생성될까?
_5.2원천시스템:주요아이디어
_5.3원천시스템의실질적인세부사항
_5.4함께작업할대상
_5.5드러나지않는요소가원천시스템에미치는영향
_5.6결론
_5.7참고문헌

CHAPTER62단계:데이터저장
_6.1데이터스토리지의기본구성요소
_6.2데이터스토리지시스템
_6.3데이터엔지니어링스토리지개요
_6.4스토리지의주요아이디어와동향
_6.5함께작업할대상
_6.6드러나지않는요소
_6.7결론
_6.8참고문헌

CHAPTER73단계:데이터수집
_7.1데이터수집이란?
_7.2수집단계의주요엔지니어링고려사항
_7.3배치수집고려사항
_7.4메시지및스트림수집에관한고려사항
_7.5데이터수집방법
_7.6함께일할담당자
_7.7드러나지않는요소
_7.8결론
_7.9참고문헌

CHAPTER84단계:쿼리모델링및데이터변환
_8.1쿼리
_8.2데이터모델링
_8.3변환
_8.4함께일할담당자
_8.5드러나지않는요소
_8.6결론
_8.7참고문헌

CHAPTER95단계:분석,머신러닝및역ETL을위한데이터서빙
_9.1데이터서빙의일반적인고려사항
_9.2분석
_9.3머신러닝
_9.4데이터엔지니어가ML에관해알아야할사항
_9.5분석및ML을위한데이터서빙방법
_9.6역ETL
_9.7함께작업하는사람
_9.8드러나지않는요소
_9.9결론
_9.10참고문헌

[PARTIII보안,개인정보보호및데이터엔지니어링의미래]

CHAPTER10보안과개인정보보호
_10.1사람
_10.2프로세스
_10.3기술
_10.4결론
_10.5참고문헌

CHAPTER11데이터엔지니어링의미래
_11.1사라지지않는데이터엔지니어링수명주기
_11.2복잡성의감소와사용하기쉬운데이터도구의부상
_11.3클라우드규모의데이터OS와향상된상호운용성
_11.4‘엔터프라이즈’데이터엔지니어링
_11.5직책과책임의변화
_11.6모던데이터스택을넘어라이브데이터스택으로
_11.7결론

APPENDIXA직렬화와압축기술상세
APPENDIXB클라우드네트워킹

에필로그
찾아보기

현업데이터엔지니어들이먼저알아본화제의그책!
데이터파이프라인설계와구축의핵심원칙을한권에!

이책은특정도구,기술또는플랫폼을사용하는데이터엔지니어링을다루지않는다.이러한관점에서데이터엔지니어링관련기술에접근하는도서는많지만,그런책들은수명이짧다.대신이책은데이터엔지니어링이면의기본개념에초점을맞춘다.

이책의목표는현재의데이터엔지니어링관련내용과자료의공백을메우는것이다.특정데이터엔지니어링도구와기술을다루는기술자원이부족한것은아니지만,사람들은이러한구성요소들을실제세계에적용되는일관된전체적결과물로조립하는방법을이해하는데어려움을겪는다.이책은데이터수명주기의시작단계부터최종단계에이르기까지모든단계를살펴본다.특히분석가,데이터과학자,머신러닝엔지니어와같은다운스트림데이터소비자의요구를충족하기위해다양한기술을결합하는방법을보여준다.한편으로는특정기술,플랫폼,프로그래밍언어의세부사항을다루는오라일리도서들을보완하는역할을한다.

이책의주요내용은데이터생성,저장,수집,변환,서빙등을다루는데이터엔지니어링수명주기다.데이터의태동기이후우리는수많은특정기술과공급업체제품의흥망성쇠를목격했지만,데이터엔지니어링수명주기단계는본질적으로바뀌지않았다.이프레임워크를통해독자는기술을실제비즈니스문제에적용하는데필요한올바른이해를얻을수있다.

여기서우리의목표는두가지축을아우르는원칙을세우는것이다.첫째,데이터엔지니어링을모든관련기술을포괄하는원칙으로정제하고자한다.둘째,오랜시간이지나도변함없는원칙을제시하고자한다.이러한아이디어가지난20년간의데이터기술격변기를거치며얻은교훈을반영하고,우리의내적프레임워크가미래에도10년이상유용하게유지되기를바란다.
_서문‘이책에대하여’중에서

대상독자
-데이터엔지니어링실무를맡고있는담당자
-데이터엔지니어링업무를희망하는중/고급소프트웨어엔지니어
-기술실무자와연계해작업하는데이터이해관계자또는팀리더
-데이터분석및데이터과학담당자로서데이터엔지니어링을이해하려는사람
-데이터엔지니어링분야의큰그림을그려보고싶은누구나

주요내용
-전체데이터엔지니어링환경의간결한개요파악
-모범사례의엔드투엔드프레임워크로데이터엔지니어링문제평가
-데이터기술,아키텍처및프로세스를선택할때마케팅과대광고차단
-데이터엔지니어링수명주기로강력한아키텍처설계및구축
-데이터엔지니어링수명주기전반에걸쳐데이터거버넌스및보안통합