아파치 아이스버그 완벽 가이드 (차세대 데이터 레이크하우스 구축과 성능 최적화)

토메르 시란

(Tomer Shiran)
오픈 데이터 레이크하우스 플랫폼 드레미오(Dremio)의 창업자이자 최고 제품 책임자(CPO)다. 드레미오 창업 전에는 빅데이터 분석 분야의 선구 기업인 MapR의 부사장을 지냈으며, 마이크로소프트와 IBM 리서치에서 제품 관리 및 엔지니어링 업무를 수행했다. 수십만 명의 유료 고객을 확보한 여러 웹 기반 서비스를 설립했으며, 다양한 산업 분야를 주제로 저술과 강연 활동도 활발히 하고 있다.

옮긴이 머리말 xi
추천 서문(게리트 카츠마이어) xiii
추천 서문(라구 라마크리슈난) xiv
추천 서문(릭 시어스) xv
시작하며 xvii
표지에 대하여 xxi

1.1 어떻게 여기까지 오게 되었나? 간단한 역사 3
1.2 데이터 웨어하우스 7
1.3 데이터 레이크 11
1.4 데이터 레이크에서 분석을 실행해야 할까, 아니면 데이터 웨어하우스에서 실행해야 할까? 15
1.5 데이터 레이크하우스 16
1.6 테이블 형식이란 무엇인가? 18
1.7 하이브: 태초의 테이블 형식 19
1.8 모던 데이터 레이크 테이블 형식 22
1.9 아파치 아이스버그란 무엇인가? 23
1.10 요약 30

2.1 데이터 계층 32
2.2 메타데이터 계층 36
2.3 카탈로그 43
2.4 요약 44

3.1 아파치 아이스버그에서의 쓰기 쿼리 46
3.2 아파치 아이스버그에서의 읽기 쿼리 58
3.3 요약 66

4.1 압착 67
4.2 압착 실습하기 69
4.3 정렬 77
4.4 z-order 81
4.5 파티셔닝 84
4.6 copy-on-write 대 merge-on-read 89
4.7 기타 고려 사항 95
4.8 요약 103

5.1 요구 사항 104
5.2 카탈로그 비교 105
5.3 카탈로그 마이그레이션 114
5.4 요약 121

6.1 설정하기 125
6.2 데이터 정의 언어 133
6.3 데이터 읽기 144
6.4 데이터 쓰기 148
6.5 아이스버그 테이블 유지보수하기 153
6.6 요약 155

7.1 설정하기 156
7.2 데이터 정의 언어 158
7.3 데이터 읽기 162
7.4 데이터 쓰기 164
7.5 아이스버그 테이블 유지보수하기 166
7.6 요약 168

8.1 설정하기 169
8.2 Glue 데이터 카탈로그를 사용하여 테이블 생성하기 173
8.3 요약 175

9.1 설정하기 176
9.2 데이터 정의 언어 179
9.3 데이터 읽기 185
9.4 데이터 쓰기 187
9.5 플링크 DataFrame 및 Table API와 아파치 아이스버그 테이블 189
9.6 요약 195

10.1 아파치 아이스버그 메타데이터 테이블 200
10.2 브랜치를 사용해서 변경 사항 격리하기 227
10.3 다중 테이블 트랜잭션 234
10.4 변경 사항 롤백하기 236
10.5 요약 241

11.1 스파크를 사용해서 스트리밍하기 244
11.2 플링크를 사용해서 스트리밍하기 250
11.3 카프카 커넥트를 사용해서 스트리밍하기 259
11.4 AWS로 스트리밍하기 264
11.5 요약 268

12.1 데이터 파일 보안 270
12.2 의미 체계 계층에서의 보안 및 관리 284
12.3 카탈로그 수준에서 보안 및 관리 291
12.4 추가적인 보안 및 거버넌스 고려 사항 297
12.5 요약 298

13.1 마이그레이션 고려 사항 300
13.2 하이브 테이블을 아파치 아이스버그로 마이그레이션하기 303
13.3 델타 레이크를 아파치 아이스버그로 마이그레이션하기 305
13.4 아파치 후디를 아파치 아이스버그로 마이그레이션하기 306
13.5 개별 파일을 아파치 아이스버그로 마이그레이션하기 307
13.6 데이터를 다시 써서 임의의 위치에서 마이그레이션하기 309
13.7 요약 314

14.1 아파치 아이스버그에서 Write-Audit-Publish를 사용하여 데이터 품질 보장하기 316
14.2 데이터 레이크에서 BI 워크로드 실행하기 325
14.3 아파치 아이스버그로 CDC 구현하기 330
14.4 요약 338

찾아보기 340

데이터 레이크를 진짜 데이터 플랫폼으로 만드는 핵심 기술, 아파치 아이스버그

데이터 레이크는 저렴한 비용으로 방대한 데이터를 유연하게 저장할 수 있지만, 데이터 웨어하우스처럼 안정적인 트랜잭션과 높은 쿼리 성능을 제공하기는 쉽지 않다. 이러한 두 세계의 장점을 결합한 데이터 레이크하우스가 주목받으면서 그 기반 기술인 오픈 테이블 형식, 그중에서도 아파치 아이스버그의 중요성이 빠르게 커지고 있다.
이 책은 데이터 웨어하우스와 데이터 레이크가 어떻게 발전해 왔는지부터 출발해 테이블 형식이 왜 필요한지를 설명하고, 아이스버그가 데이터 파일과 메타데이터, 매니페스트, 스냅샷, 카탈로그를 이용해 대규모 데이터를 어떻게 관리하는지 내부 구조까지 차근차근 파고든다. INSERT, MERGE, SELECT 같은 작업이 내부에서 어떤 과정을 거치는지를 따라가다 보면 아이스버그의 트랜잭션과 시간 여행, 스키마 및 파티션 진화가 어떻게 가능한지도 자연스럽게 이해할 수 있다.
성능과 운영에 관한 내용도 충실하다. 압착, 정렬, z-order, 숨겨진 파티셔닝, copy-on-write와 merge-on-read, 메트릭과 매니페스트 관리 등 아이스버그 테이블의 성능을 끌어올리는 방법을 구체적으로 설명한다. 이어 스파크, 드레미오, AWS Glue, 플링크를 이용해 테이블을 생성하고 읽고 쓰며 유지보수하는 방법을 실제 코드와 함께 살펴본다. 특정 엔진 하나에 종속되지 않는 아이스버그의 장점을 직접 확인할 수 있는 구성이다.
책의 후반부에서는 아이스버그를 프로덕션에서 어떻게 운영할 것인가에 집중한다. 메타데이터 테이블을 활용한 상태 확인, 브랜치와 태그를 이용한 변경 사항 격리, 다중 테이블 트랜잭션과 롤백을 비롯해 스트리밍, 데이터 거버넌스와 보안, 그리고 마이그레이션까지 폭넓게 다룬다. 이어서 데이터 품질을 보장하는 Write-Audit-Publish, 데이터 레이크에서의 BI 워크로드, 변경 데이터 캡처(CDC) 등 실제 사례를 통해 앞에서 배운 기능들이 현실의 데이터 아키텍처에서 어떻게 결합되는지를 보여준다.
데이터 레이크하우스를 구축하려는 데이터 엔지니어, 데이터 플랫폼 개발자, 분석 엔지니어는 물론, 데이터 레이크하우스와 오픈 테이블 형식이 왜 현대 데이터 인프라의 핵심으로 떠오르고 있는지 제대로 이해하고 싶은 독자에게도 탄탄한 이론과 실무 지식으로 도움을 주는 길잡이 같은 책이다.

주요 내용
■ 아이스버그 테이블의 아키텍처
■ 아이스버그 테이블에서 작업이 수행될 때 내부에서 일어나는 과정
■ 아이스버그 테이블의 성능을 극대화하기 위한 최적화 기법
■ 스파크, 플링크, 드레미오 등 주요 데이터 엔진에서 아이스버그를 활용하는 방법