데이터 엔지니어링 디자인 패턴 (데이터 수집부터 품질, 오케스트레이션, 관찰 가능성까지 반복되는 문제를 해결하는 70가지 패턴 전략)

데이터 엔지니어링 디자인 패턴 (데이터 수집부터 품질, 오케스트레이션, 관찰 가능성까지 반복되는 문제를 해결하는 70가지 패턴 전략)

$35.00
Description
데이터 엔지니어링, 경험을 구조화하고 패턴으로 표준화하다
데이터 파이프라인을 설계하다 보면, 프로젝트가 달라져도 놀랍도록 비슷한 문제를 반복해서 마주하게 됩니다.
이 책은 이러한 반복이 개인의 역량 부족이 아니라, 표준화된 패턴과 전략이 부재했기 때문이라고 말합니다.
데이터 수집, 오류 처리, 멱등성, 데이터 품질, 관찰 가능성까지 현업 데이터 엔지니어가 매번 고민해 온 핵심 과제를 디자인 패턴으로 정리해 제시합니다. 패턴별로 언제 사용해야 하는지, 어떤 해결책이 있으며 어떤 트레이드오프가 따르는지를 함께 설명해 설계 판단의 기준을 명확히 합니다. 기술 스택과 환경이 바뀌어도 재사용할 수 있는 원칙을 통해, 더 탄력적이고 신뢰할 수 있는 데이터 파이프라인을 설계하도록 돕는 실무형 가이드입니다.

주요 내용
● 반복되는 데이터 엔지니어링 문제를 패턴으로 일반화
● 데이터 수집부터 운영·모니터링까지, 워크플로 전반에서 다루는 실무 핵심 과제
● 설계 트레이드오프를 탐색하고 효과적인 멀티 에이전트 시스템 구현하기
● 기술 스택에 종속되지 않는 설계 원칙 강조
저자

바르토시코니에치니

BartoszKonieczny
2010년부터개발을시작해현재프리랜서데이터엔지니어로활동하고있다.엔지니어링전반에깊은관심을갖고있다.커리어전반에걸쳐주요퍼블릭클라우드서비스와함께아파치스파크(ApacheSpark),아파치플링크(ApacheFlink),아파치에어플로(ApacheAirflow),PostgreSQL,델타레이크(DeltaLake)등다양한오픈소스기술을활용하며세션화,데이터수집과정제,순서가있는데이터처리,데이터마이그레이션등폭넓은데이터엔지니어링과제를해결해왔다.

목차

CHAPTER1데이터엔지니어링디자인패턴소개
_1.1디자인패턴이란무엇인가?
_1.2기존디자인패턴만으로충분한가?
_1.3일반적인데이터엔지니어링패턴
_1.4이책에서사용된사례
_1.5요약

CHAPTER2데이터수집디자인패턴
_2.1전체적재
패턴#01:전체로더
_2.2증분적재
패턴#02:증분로더
패턴#03:변경데이터캡처
_2.3복제
패턴#04:패스스루복제기
패턴#05:변환복제기
_2.4데이터컴팩션
패턴#06:컴팩터
_2.5데이터준비
패턴#07:준비마커
_2.6이벤트주도
패턴#08:외부트리거
_2.7요약

CHAPTER3오류관리디자인패턴
_3.1처리할수없는레코드
패턴#09:데드레터
_3.2중복된레코드
패턴#10:윈도중복제거
_3.3지연데이터
패턴#11:지연데이터탐지기
패턴#12:정적지연데이터통합기
패턴#13:동적지연데이터통합기
_3.4필터링
패턴#14:필터인터셉터
_3.5내결함성
패턴#15:체크포인터
_3.6요약

CHAPTER4멱등성디자인패턴
_4.1덮어쓰기
패턴#16:빠른메타데이터정리기
패턴#17:데이터덮어쓰기
_4.2갱신
패턴#18:병합기
패턴#19:상태저장병합기
_4.3데이터베이스
패턴#20:키기반멱등성
패턴#21:트랜잭션기반작성자
_4.4불변의데이터셋
패턴#22:프록시
_4.5요약

CHAPTER5데이터가치디자인패턴
_5.1데이터강화
패턴#23:정적조이너
패턴#24:동적조이너
_5.2데이터데코레이션
패턴#25:래퍼
패턴#26:메타데이터데코레이터
_5.3데이터집계
패턴#27:분산집계기
패턴#28:로컬집계기
_5.4세션화
패턴#29:증분세션화처리기
패턴#30:상태저장세션화처리기
_5.5데이터정렬
패턴#31:빈팩정렬기
패턴#32:선입선출정렬기
_5.6요약

CHAPTER6데이터흐름디자인패턴
_6.1시퀀스
패턴#33:로컬시퀀서
패턴#34:독립된시퀀서
_6.2팬인
패턴#35:정렬된팬인
패턴#36:비정렬팬인
_6.3팬아웃
패턴#37:병렬분할
패턴#38:배타적선택
_6.4오케스트레이션
패턴#39:단일실행기
패턴#40:동시실행기
_6.5요약

CHAPTER7데이터보안디자인패턴
_7.1데이터제거
패턴#41:수직파티셔너
패턴#42:제자리덮어쓰기
_7.2접근제어
패턴#43:테이블에대한세밀한접근자
패턴#44:자원에대한세밀한접근자
_7.3데이터보호
패턴#45:암호화기
패턴#46:익명화기
패턴#47:의사익명화기
_7.4연결성
패턴#48:비밀포인터
패턴#49:비밀없는커넥터
_7.5요약

CHAPTER8데이터스토리지디자인패턴
_8.1파티셔닝
패턴#50:수평파티셔너
패턴#51:수직파티셔너
_8.2레코드구성
패턴#52:버킷
패턴#53:정렬기
_8.3조회성능최적화
패턴#54:메타데이터강화기
패턴#55:데이터셋구체화기
패턴#56:매니페스트
_8.4데이터표현
패턴#57:정규화기
패턴#58:역정규화기
_8.5요약

CHAPTER9데이터품질디자인패턴
_9.1품질확보
패턴#59:감사-쓰기-감사-배포(AWAP)
패턴#60:제약조건적용자
_9.2스키마일관성
패턴#61:스키마호환성적용자
패턴#62:스키마마이그레이터
_9.3품질관찰
패턴#63:오프라인옵서버
패턴#64:온라인옵서버
_9.4요약

CHAPTER10데이터관찰가능성디자인패턴
_10.1데이터탐지기
패턴#65:흐름중단탐지기
패턴#66:스큐탐지기
_10.2시간탐지기
패턴#67:지연탐지기
패턴#68:SLA위반탐지기
_10.3데이터계보
패턴#69:데이터셋추적기
패턴#70:세밀한추적기
_10.4요약

APPENDIX디자인패턴요약

출판사 서평

처음부터다시만들필요는없다
답은이미패턴에있다
데이터엔지니어링에서도디자인패턴은이제선택이아닌필수적인사고도구로자리잡고있습니다.
이책은소프트웨어엔지니어링분야에서검증된디자인패턴개념을데이터엔지니어링으로확장해,이영역에서디자인패턴이무엇을의미하는지부터차근차근설명합니다.
데이터수집을출발점으로오류관리와멱등성,재시도와백필시나리오까지실제파이프라인에서반드시마주치는문제를설계관점에서살펴봅니다.이어데이터가치를창출하기위한데이터결합과흐름설계,보안과스토리지전략을통해파이프라인을조직전체의데이터아키텍처로확장하는방법을다룹니다.또한데이터품질과관찰가능성패턴을통해문제를사전에감지하고,신뢰할수있는데이터시스템을구축하는접근법을제시합니다.
각장은특정기술에대한설명이아니라,반복적으로등장하는문제와그에대한검증된해결구조에초점을맞춰환경이달라져도적용가능한기준을제공합니다.
이책을통해독자는복잡한데이터파이프라인을보다체계적으로사고하고,상황에맞는설계결정을내리는데필요한데이터엔지니어링디자인패턴의핵심을익힐수있습니다.