모던 데이터 아키텍처 설계와 구현 (지속적인 데이터 통합 파이프라인 구축부터 데이터 거버넌스 전략까지)

피트하인 스트렝홀트

Piethein Strengholt
마이크로소프트 네덜란드의 최고데이터책임자(CDO)다. 고객사의 CDO들을 응대하는 협력 파트너로 일하며, 커뮤니티와 프로덕트 그룹에서 주도적인 역할을 맡고 있다. 블로거로서도 활발히 활동 중이며 데이터 메시 개념, 데이터 거버넌스, 대규모 데이터 전략 등 최신 데이터 관리 트렌드에 대한 발표와 강연도 주기적으로 하고 있다.

1장 데이터 주도 조직으로의 여정
최근의 기술 발전과 업계 트렌드
데이터 관리
분석으로 인해 파편화되는 데이터 환경
변화하는 소프트웨어 출시 속도
데이터 관리에 막대한 영향을 미치는 클라우드
개인정보보호와 보안은 최우선 과제
운영 시스템과 분석 시스템은 통합되어야 한다
조직은 협력적 생태계 속에서 운영된다
시대에 뒤떨어진 데이터 아키텍처에 발이 묶인 기업들
__엔터프라이즈 데이터 웨어하우스: 진실의 단일 원천
__데이터 레이크: 정형 및 비정형 데이터를 위한 중앙집중식 리포지토리
__중앙집중화의 고통
데이터 전략 수립
정리

2장 데이터 도메인을 활용한 데이터 체계화
애플리케이션 설계의 출발점
__모든 애플리케이션에는 데이터 저장소가 있다
__애플리케이션은 항상 고유하다
__골든 소스
__데이터 통합 딜레마
__애플리케이션의 역할
소프트웨어 아키텍처에서 얻은 영감
데이터 도메인
__도메인 주도 설계
__비즈니스 아키텍처
__도메인 특성
분산형 및 도메인 지향 데이터 관리의 원칙
__데이터 도메인을 위한 설계 원칙
__데이터 프로바이더를 위한 모범 사례
__도메인 소유권 책임
분산형 도메인 지향 데이터 관리로의 전환
정리

3장 도메인과 기술 아키텍처의 매핑
도메인 토폴로지: 문제 영역 관리
__완전 연합형 도메인 토폴로지
__거버넌스 기반 도메인 토폴로지
__부분 연합형 도메인 토폴로지
__가치 사슬 정렬 도메인 토폴로지
__큰 단위로 나눈 도메인 토폴로지
__거버넌스가 부분적으로 적용된 큰 단위 도메인 토폴로지
__중앙집중형 도메인 토폴로지
__올바른 토폴로지 선택
랜딩 존 토폴로지: 솔루션 영역 관리
__단일 데이터 랜딩 존
__소스 정렬 랜딩 존과 컨슈머 정렬 랜딩 존
__허브 데이터 랜딩 존
__다중 데이터 랜딩 존
__다중 데이터 관리 랜딩 존
__랜딩 존 실전 사례
정리

4장 데이터 프로덕트 관리
데이터 프로덕트란 무엇인가
__코드, 데이터, 메타데이터, 인프라 통합의 난제
__논리적 엔티티로서의 데이터 프로덕트
데이터 프로덕트 설계 패턴
__CQRS란 무엇인가
__데이터 프로덕트로서의 읽기 복제본
데이터 프로덕트 설계 원칙
__리소스 지향 읽기 최적화 설계
__데이터 프로덕트의 데이터는 불변이다
__유비쿼터스 언어를 사용하라
__소스에서 직접 수집하라
__명확한 상호운용성 표준
__원시 데이터 금지
__컨슈머에 맞추지 마라
__누락된 값, 기본값, 그리고 데이터 타입
__의미적 일관성
__원자성
__호환성
__변동성이 큰 참조 데이터는 추상화하라
__새로운 데이터에는 새로운 소유권이 따른다
__데이터 보안 패턴
__메타모델 수립
__셀프서비스 허용
__도메인 간 관계
__전사적 일관성
__이력 관리, 재전송, 덮어쓰기
__여러 소유자가 있는 비즈니스 역량
__운영 모델
데이터 프로덕트 아키텍처
__상위 수준 플랫폼 설계
__데이터 수집 및 온보딩 역량
__데이터 품질
__데이터 이력 관리
솔루션 설계
__실제 사례
__스토리지 계정과의 대응 관계
__데이터 파이프라인과의 대응 관계
__데이터 제공 역량
__데이터 제공 서비스
__파일 가공 서비스
__비식별화 서비스
__분산 오케스트레이션
__지능형 소비 서비스
__데이터 프로덕트를 직접 사용할 때의 고려사항
시작해 보자
정리

5장 서비스와 API 관리
API 관리 소개
서비스 지향 아키텍처란 무엇인가
__전사적 애플리케이션 통합
__서비스 오케스트레이션
__서비스 커리어그래피
__퍼블릭 서비스와 프라이빗 서비스
__서비스 모델과 표준 데이터 모델
__엔터프라이즈 데이터 웨어하우징 아키텍처와의 유사점
API 관리에 대한 현대적 관점
__연합형 책임 모델
__API 게이트웨이
__제품으로서의 API
__컴포지트 서비스
__API 계약
__API 탐색 가능성
마이크로서비스
__함수
__서비스 메시
__마이크로서비스 도메인 바운더리
에코시스템 커뮤니케이션
경험 API
__그래프QL
__프론트엔드를 위한 백엔드
실전 사례
메타데이터 관리
데이터 프로덕트를 제공하는 읽기 지향 API
정리

6장 이벤트와 알림 관리
이벤트에 대한 소개
__알림 vs 상태 전송
__비동기 통신 모델
모던 이벤트 기반 아키텍처의 형태
__메시지 큐
__이벤트 브로커
__이벤트 처리 스타일
__이벤트 프로듀서
__이벤트 컨슈머
__이벤트 스트리밍 플랫폼
__거버넌스 모델
__데이터 프로덕트 저장소로서의 이벤트 저장소
__애플리케이션 백엔드로서의 이벤트 저장소
운영 백본으로서의 스트리밍
보장과 일관성
__일관성 수준
__처리 방식
__메시지 순서
__데드 레터 큐
__스트리밍 상호운용성
거버넌스와 셀프서비스
정리

7장 개별 사항을 통합해 큰 그림 그리기
도메인 간 상호운용성
__간략한 복습
__데이터 배포 vs 애플리케이션 통합
__데이터 배포 패턴
__애플리케이션 통합 패턴
__일관성과 탐색 가능성
변화를 가이드하고 영감과 동기를 부여하는 법
__도메인 바운더리 설정
__예외 처리
조직 차원의 변화
__팀 토폴로지
__조직 계획 수립
정리

8장 데이터 거버넌스와 보안
데이터 거버넌스
__거버넌스 프레임워크
__프로세스: 데이터 거버넌스 활동
__효과적이고 실용적인 거버넌스 구축
__데이터 거버넌스를 위한 지원 서비스
__데이터 계약
데이터 보안
__사일로화된 현재의 접근 방식
__신뢰 경계
__데이터 분류 및 라벨
__데이터 사용 분류
__통합 데이터 보안
__신원 제공자
__실제 사례
__일반적인 보안 프로세스 흐름
__API 기반 아키텍처 보안
__이벤트 기반 아키텍처 보안
정리

9장 메타데이터를 통한 데이터 민주화
메타데이터 관리
엔터프라이즈 메타데이터 모델
__메타모델의 실제 예시
__데이터 도메인과 데이터 프로덕트
__데이터 모델
__데이터 계보
__기타 메타데이터 영역
메타레이크 아키텍처
__카탈로그의 역할
__지식 그래프의 역할
정리

10장 모던 마스터 데이터 관리
마스터 데이터 관리 스타일
데이터 통합
마스터 데이터 관리 솔루션 설계
도메인 지향적 마스터 데이터 관리
__참조 데이터
__마스터 데이터
__서비스로서의 MDM과 데이터 품질
MDM과 데이터 큐레이션
__지식 교환
__통합 뷰
__재사용 가능한 컴포넌트와 통합 로직
__통합 허브를 통한 데이터 재게시
__애그리게이트를 통한 데이터 재게시
데이터 거버넌스 권장사항
정리

11장 데이터를 가치로 전환하기
데이터를 가치로 전환하는 과정에서의 과제들
도메인 데이터 저장소
__컨슈머 정렬 유스케이스의 세분성
__데이터 도메인 저장소 vs 데이터 프로덕트
모범 사례
__비즈니스 요구사항
__대상 사용자와 운영 모델
__비기능적 요구사항
__데이터 파이프라인과 데이터 모델
__DDS의 수행 역할 범위 지정
비즈니스 인텔리전스
__시맨틱 계층
__셀프서비스 도구와 데이터
__모범 사례
고급 분석: MLOps
__프로젝트 시작
__실험과 추적
__데이터 엔지니어링
__모델 운영화
__예외 사항
정리

12장 이론을 실무에 적용하기
데이터 여정에 대한 짧은 회고
중앙집중형인가? 탈중앙형인가?
실현하기
__기회 포착 단계: 전략적 방향 설정
__전환 단계: 기반 준비
__최적화 단계: 역량 전문화
데이터 주도 문화
__데이터옵스
__거버넌스와 리터러시
엔터프라이즈 아키텍트의 역할
__블루프린트와 다이어그램
__현대적인 능력
__통제와 거버넌스
마치면서

| 이 책에서 다루는 내용 |
ㆍ 규제 요구사항, 개인정보보호 문제, 데이터 메시와 데이터 패브릭 등 최신 데이터 관리에 관한 최신 트렌드
ㆍ 클라우드 데이터 랜딩 존, 도메인 주도 설계(DDD), 데이터 프로덕트 설계 등 데이터 아키텍처 구축 방법과 노하우
ㆍ 데이터 거버넌스와 보안, 마스터 데이터 관리, 셀프서비스 데이터 마켓플레이스, 메타데이터의 중요성

| 이 책의 대상 독자 |
- 경영진 및 아키텍트: 최고데이터책임자(CDO), 최고기술책임자(CTO), 수석 아키텍트, 엔터프라이즈 아키텍트, 수석 데이터 아키텍트
- 분석 팀: 데이터 과학자, 데이터 엔지니어, 데이터 분석가, 분석 총괄 책임자
- 개발 팀: 데이터 엔지니어, 데이터 과학자, 비즈니스 인텔리전스 엔지니어, 데이터 모델러 및 설계자, 기타 데이터 전문가
- 컴플라이언스 및 거버넌스 팀: 최고정보보안책임자(CISO), 데이터보호책임자, 정보보안 분석가, 규제 준수 책임자, 데이터 스튜어드, 비즈니스 분석가

| 이 책의 구성 |
1장에서는 데이터 관리가 무엇인지, 어떻게 변화하고 있는지, 그리고 디지털 전환에 어떤 영향을 미치는지를 맥락적 관점에서 살펴본다. 그리고 최근 몇 년간의 현황과 데이터 전략 수립 지침을 제공한다. 2장에서는 대규모 데이터 관리의 세부사항을 다룬다. 데이터 도메인을 활용해 대규모 데이터 환경을 관리하는 방법론으로서 도메인 주도 설계(DDD)와 비즈니스 아키텍처를 살펴본다. 3장에서는 데이터 아키텍처를 구조화하고 데이터 도메인과 일치시키는 방법으로서, 토폴로지와 데이터 랜딩 존에 초점을 맞춘다.
4장에서는 데이터 프로덕트, 명령 쿼리 책임 분리(CQRS) 및 이를 가이드하는 원칙에 초점을 맞추고, 솔루션 설계 사례를 제시한다. 5장에서는 API 관리를, 6장에서는 이벤트 및 알림 관리를 살펴본다. 7장에서는 이제까지의 모든 내용에 아키텍처 가이드와 실제 경험을 곁들이고, 하나로 묶어 포괄적으로 살펴본다.
8장에서는 급변하는 시대에도 장기적으로 실용적이고 지속 가능한 방식으로 데이터 거버넌스와 보안에 접근하는 방법을 살펴본다. 9장에서는 메타데이터의 활용, 중요성, 그리고 민주화의 가능성을 깊이 있게 다룬다.
10장에서는 분산되어 광범위하게 흩어져 있는 자산에 대한 데이터 일관성을 유지하기 위해 마스터 데이터 관리(Master Data Management, MDM)를 어떻게 활용할지 안내하고, 11장에서는 데이터를 가치로 전환하는 문제를 다룬다. 12장에서는 이제까지 다룬 내용을 실현하는 예시와 함께 데이터 관리와 엔터프라이즈 아키텍처의 미래에 대한 비전으로 책을 마무리한다.

[옮긴이의 말]
데이터란 추상적인 개념이나 사실을 기호, 문자, 숫자 등으로 나타낸 사실(given fact) 혹은 ‘기초 자료’를 의미하며, 데이터 관리는 이러한 자료를 수집, 저장, 정리해서 가치 있는 정보로 변환하는 과정을 말합니다. 데이터의 개념과 관리 방법은 저장 매체와 기술의 발전에 따라 원시적인 방법(점토판과 파피루스 등)에서 디지털 중심의 현대적인 방법(DBMS, 클라우드 컴퓨팅)으로 발전해 왔으며 앞으로도 계속 진화해 갈 것입니다. 근대적인 컴퓨터가 발명된 후 데이터의 관리는 중앙집중적 구조를 갖고 데이터를 정형적으로 관리하는 DBMS가 중심을 이뤄왔습니다. 그러나 인터넷과 빅데이터의 시대인 2000년대를 전후로 클라우드 컴퓨팅의 등장과 함께 데이터의 원격 저장과 분산화가 본격화되기 시작했고 3V(Volume, Velocity, Variety)의 특징을 갖는 빅데이터는 AI 출현의 기초가 되었습니다. AI의 출현과 더불어 데이터는 기하급수적으로 늘어났고 복잡해졌으며, 그 중요성은 과거에 비해 점점 더 커지고 있습니다. 이러한 변화에 따라 데이터 세상도 같이 변화하고 있습니다. 단순하게 모아서 잘 관리하는 것이 아닌 데이터의 공유와 활용을 위한 새로운 방법들이 모색되고 있습니다.
현재 모든 분야에서 AI를 빼고 이야기하기 어려워지고 AI의 활용도는 시간이 지나면서 더 높아지고 있습니다. 데이터는 AI 기술에서 매우 중요합니다. AI가 새로운 내용을 학습하고 올바른 답을 내기 위해서는 그 답의 원천이 되는 데이터가 잘 관리되어야 합니다. 특히, LLM은 학습 데이터의 품질에 절대적으로 의존합니다. 데이터 세상에는 “쓰레기를 넣으면 쓰레기가 나온다(Garbage In, Garbage Out)”라는 유명한 말이 있습니다. 이는 훌륭한 알고리즘이나 AI 모델을 사용하더라도, 입력되는 원천 데이터(raw data)의 품질이 낮으면 결과물도 가치가 없다는 뜻입니다. 이에, 이 책에서 강조하고 있는 데이터 거버넌스와 품질 관리가 이루어지지 않는다면 AI가 답하는 내용은 편향되거나 존재하지 않는 사실을 만들어 낼 것입니다.
요컨대, AI 시대에도 데이터의 품질과 관리는 점점 더 중요해질 것입니다. 하지만 문제는 데이터 구조를 잡고, 수집하고, 관리하는 작업이 예전과 다르게 난이도가 점점 더 높아지고 있다는 점입니다. 데이터의 양은 관리하기 어려울 정도로 늘어나고 있고 데이터의 형태 또한 다양해지고 저장 위치도 다양해지고 있습니다. 이와 동시에, 분산된 데이터의 무결성과 일관성도 유지해야 하고 보안 처리도 해야 합니다. 데이터의 수명조차 가변적입니다. 이러한 수많은 어려움에도 불구하고, AI 시대를 맞아 더더욱 데이터는 기업의 핵심 자산으로 취급되고 있고 데이터 관리는 기업이 생존을 결정하는 문제가 되어 가고 있습니다.
이 책에서 언급되는 데이터 패브릭(Data Fabric)과 데이터 메시(Data Mesh)도 데이터에 대한 새로운 시도라고 할 수 있습니다. 데이터 패브릭은 온프레미스, 클라우드 등 여러 위치에 분산된 데이터를 물리적인 통합하는 것이 아닌, 메타데이터 기술을 활용해 가상화 된 통합 계층에서 실시간으로 관리하는 데이터 아키텍처를 말합니다. 이러한 아키텍처는 흩어진 데이터 소스를 하나로 묶어서 관리하기 때문에 데이터의 파편화를 막고 데이터 민주화에도 기여하게 됩니다. 반면 데이터 메시는 도메인 기반의 분산 데이터 소유권과 조직 문화 중심으로 데이터를 관리합니다. 데이터 메시는 대규모 데이터를 중앙에서 관리하던 방식에서 벗어나 도메인별로 데이터를 분산하고 소유하는 탈중앙화 아키텍처로 도메인 팀이 데이터를 제품처럼 관리하고 이를 지원하기 위한 셀프서비스 플랫폼과 거버넌스를 통해 데이터 품질을 높이고 비즈니스 가치를 높이는 방법을 말합니다.
이 책에서는 이러한 개념을 더 발전시켜, 모던 데이터 스택과 실무적인 내용을 추가해, 단순한 이론에 그치지 않고 대규모 데이터 환경에서 데이터 품질을 보장하고 기술 부채를 줄이는 방법과 더불어 비즈니스의 성공을 위한 데이터 아키텍처와 관리 기법에 대해 설명해줍니다. 우리는 이 책을 통해 데이터 생성부터 폐기까지의 데이터 수명주기에 관련된 다양한 데이터 관리의 개념을 알 수 있습니다. 과거의 데이터 관리는 주로 어떻게 데이터를 효율적으로 보관할 것인가 하는 보관의 문제였다면, 지금은 어떻게 신뢰할 수 있는 데이터를 계속해서 제공할 수 있을 것인가 하는 데이터 공급의 문제로 바뀌었습니다. 이 책에서 이야기하는 데이터 제품과 대규모 데이터 관리 전략은 현업에서 데이터 공급망을 구축하는 이들에게 큰 도움이 될 것입니다. 또한 실무자가 꼭 알아야 할 실제 기업 환경에서 활용할 수 있는 다양한 팁들도 많이 포함되어 있습니다.
마지막으로, 이 책이 나오기까지는 여러 우여곡절이 있었습니다. 어려운 과정에서도 이 책을 꼼꼼하게 검토해 주신 출판사 관계자분들과 이 책에 관심을 가져준 많은 분께 감사드립니다. 데이터 때문에 고민하는 관련자들이 문제를 해결하고 업무를 진행하는 데 이 책이 작으나마 도움이 되길 바랍니다.
- 김영기, 김현진