데이터 엔지니어를 위한 97가지 조언 (크고 작은 데이터를 관리하기 위한 강력한 실제 모범 사례와 다양한 핵심 원칙)

토비아스메이시

TobiasMacey

데이터엔지니어링팟캐스트채널‘DataEngineeringPodcast’와파이썬팟캐스트채널‘Podcast.__init__’를운영하며각채널과연관된도구와주제,인물에대해폭넓게이야기한다.인프라와소프트웨어,클라우드,데이터엔지니어링전반에걸친그의경험을바탕으로정보에근거해질문하고토론에유용한콘텐츠로구성할수있었다.현재는온라인학습의동력이되는플랫폼을설계하고구축하는데집중하고있다.

01_서점재고관리시스템으로알아보는최종일관성
02_A/B테스트,어떻게해야할까?
03_스토리지계층에대하여
04_분석:마이크로서비스아키텍처의숨겨진접착제
05_인프라스트럭처를자동화하라
06_파이프라인테스트를자동화하라
07_데이터파이프라인의배치모델을신중히검토하라
08_은탄환신드롬을경계하라
09_데이터엔지니어경력쌓기
10_데이터파이프라인을보여주는비즈니스대시보드
11_주의:데이터과학프로젝트가벌거벗은임금님이야기가되지않으려면
12_변경데이터캡처
13_계약으로기능하는컬럼이름
14_합의된개인정보보호데이터수집
15_데이터소비자와원활한업무관계를구축하라
16_데이터엔지니어링은스파크와같지않다
17_자율성및신속한혁신을돕는데이터엔지니어링
18_데이터과학자관점에서보는데이터엔지니어링
19_재사용및확장가능한코드를만드는데이터파이프라인디자인패턴
20_데이터엔지니어를위한데이터품질
21_데이터엔지니어를위한데이터보안
22_요약통계이상의데이터유효성검증
23_과거에도현재에도미래에도존재하는데이터웨어하우스
24_로그중심아키텍처에서의메시지정의및관리방식
25_데이터생성과정정보를파악해서파이프라인을이해하기쉽게하라
26_코드뿐만아니라커뮤니티를개발하라
27_클라우드세상의효율적인데이터엔지니어링
28_데이터레이크아키텍처를받아들여라
29_데이터사일로를받아들여라
30_재현가능한데이터과학프로젝트엔지니어링
31_안정적인데이터처리를위한5가지모범사례
32_유지보수에집중하고ETL작업을분리하라
33_동료에게이중기록을권하지마라
34_기본지식
35_구조화를SQL로되돌리기
36_데이터프로덕트에잠재적인문서를포함한프런트엔드를제공하라
37_데이터파이프라인의진화
38_제품처럼데이터플랫폼을구축하는방법
39_데이터반란을방지하는방법
40_관리하는데이터의바이트당가격을파악하라
41_처리지연속도를의식하라
42_RDBMS와는다른NoSQL데이터베이스사용법을배워라
43_로봇을이용해서규칙을강제하라
44_사용자의견을듣되지나치게따르지마라
45_저가형센서와데이터품질
46_기계동작방식에대한공감력을유지하라
47_데이터그이상의메타데이터
48_데이터플랫폼의핵심요소인메타데이터서비스
49_데이터레이크는ACID를제공하지않으므로조심하라
50_모던데이터스택을위한모던메타데이터
51_상당수의데이터문제는빅데이터없이풀수있다
52_소프트웨어엔지니어링에서데이터엔지니어링으로전환하기
53_데이터엔지니어를위한관측가능성
54_완벽함은적절함의적이다
55_파이프의꿈
56_데이터레이크가지옥이되지않으려면
57_메시징시스템에서사용자경험의우선순위높이기
58_개인정보보호문제는남의일이아니다
59_QA에대한흥미로운사실
60_데이터엔지니어가머신러닝프로젝트에관여할때주의할7가지사항
61_분석용데이터웨어하우스선택을보는6가지관점
62_빅데이터세상의작은파일
63_스트리밍은배치와다르다
64_늦게도달하는데이터
65_데이터프로젝트를성공시키려면기술이뒤로물러서야한다
66_데이터엔지니어링프로젝트에서필수적으로확인해야하는10가지
67_데이터파이프라인의관건은속도가아니다
68_데이터엔지니어링의할일과하면안되는일
69_모두가아는ETL의종말
70_시조작성방식으로소프트웨어작성하기
71_데이터입출력에숨어있는비용
72_독점소프트웨어와오픈소스가전쟁중이라는거짓말
73_CAP정리의영향
74_데이터계보의중요성
75_데이터누락이갖는여러가지의미
76_경력을망치는한문장
77_데이터품질테스트에오픈소스를사용하여얻는3가지이점
78_데이터엔지니어링에서중요한3R
79_두부류의데이터엔지니어링과데이터엔지니어
80_빅데이터확장성의음양
81_데이터프로세싱에서의스레드사용및동시성
82_분산프로그래밍에서중요한개념3가지
83_의미론적인시간은기다려주지않는다
84_도구가아니라패턴과관행이중요하다
85_총소유기회비용
86_가지각색의데이터도메인에서문제를해결하는방법
87_데이터엔지니어란어떤직종인가?힌트:데이터과학의조력자
88_데이터메시와메시를망치지않을방법
89_빅데이터란무엇인가?
90_인정받지못할때해야할일
91_데이터과학팀이가치를창출하지못했다면
92_잘모르면서대충접근하지말아야하는경우
93_데이터공유에주의해야하는경우
94_발언할때와경청할때
95_데이터과학팀에전문가대신제너럴리스트가필요한이유
96_엄청난데이터에따르는엄청난책임
97_데이터검증실패!그다음은?

데이터엔지니어로한걸음더성장하기위한
다양한팁과노하우를배우자!

데이터엔지니어는넓게보면데이터를분석하고,머신러닝,비즈니스인텔리전스에사용할수있게만들어주는사람이다.빅데이터기술과데이터과학,분산컴퓨팅,클라우드가도입되면서데이터엔지니어링은없어서는안될일이되었고,더복잡해졌다.역설적이게도그래서데이터엔지니어가할수있는일도더늘어났다.
이책은데이터를다루면서교훈을얻었던다양한엔지니어들의조언이담겨있다.데이터팀에서일하기위한노하우,도구선택팁,분산시스템의기본원리등을설명하며,97가지조언만으로모든문제를해결할순없겠지만어떤문제를해결하기위한영감을얻을수있다.이조언들을초석으로삼아성공적인데이터엔지니어커리어를완성할수있기를바란다.

데이터엔지니어들에게많은도움이될책이라확신합니다.
_김동우(백앤드개발자/스타트업)

짧은내용이지만,전문가의노하우에서얻을수있는통찰을찾을수있습니다.
_강찬석(LG전자소프트웨어엔지니어)

데이터엔지니어가알아두어야할아키텍처구성의총아와같은책입니다.
_박두현(SW개발프리랜서)

안전하고안정적이며효율적인확장가능한데이터파이프라인을구축하고유지관리하는데길라잡이가되어줄것입니다.
_박상길(소프트웨어엔지니어)