모던 데이터 아키텍처 설계와 구현 (지속적인 데이터 통합 파이프라인 구축부터 데이터 거버넌스 전략까지)

피트하인스트렝홀트

PietheinStrengholt
마이크로소프트네덜란드의최고데이터책임자(CDO)다.고객사의CDO들을응대하는협력파트너로일하며,커뮤니티와프로덕트그룹에서주도적인역할을맡고있다.블로거로서도활발히활동중이며데이터메시개념,데이터거버넌스,대규모데이터전략등최신데이터관리트렌드에대한발표와강연도주기적으로하고있다.

1장데이터주도조직으로의여정
최근의기술발전과업계트렌드
데이터관리
분석으로인해파편화되는데이터환경
변화하는소프트웨어출시속도
데이터관리에막대한영향을미치는클라우드
개인정보보호와보안은최우선과제
운영시스템과분석시스템은통합되어야한다
조직은협력적생태계속에서운영된다
시대에뒤떨어진데이터아키텍처에발이묶인기업들
__엔터프라이즈데이터웨어하우스:진실의단일원천
__데이터레이크:정형및비정형데이터를위한중앙집중식리포지토리
__중앙집중화의고통
데이터전략수립
정리

2장데이터도메인을활용한데이터체계화
애플리케이션설계의출발점
__모든애플리케이션에는데이터저장소가있다
__애플리케이션은항상고유하다
__골든소스
__데이터통합딜레마
__애플리케이션의역할
소프트웨어아키텍처에서얻은영감
데이터도메인
__도메인주도설계
__비즈니스아키텍처
__도메인특성
분산형및도메인지향데이터관리의원칙
__데이터도메인을위한설계원칙
__데이터프로바이더를위한모범사례
__도메인소유권책임
분산형도메인지향데이터관리로의전환
정리

3장도메인과기술아키텍처의매핑
도메인토폴로지:문제영역관리
__완전연합형도메인토폴로지
__거버넌스기반도메인토폴로지
__부분연합형도메인토폴로지
__가치사슬정렬도메인토폴로지
__큰단위로나눈도메인토폴로지
__거버넌스가부분적으로적용된큰단위도메인토폴로지
__중앙집중형도메인토폴로지
__올바른토폴로지선택
랜딩존토폴로지:솔루션영역관리
__단일데이터랜딩존
__소스정렬랜딩존과컨슈머정렬랜딩존
__허브데이터랜딩존
__다중데이터랜딩존
__다중데이터관리랜딩존
__랜딩존실전사례
정리

4장데이터프로덕트관리
데이터프로덕트란무엇인가
__코드,데이터,메타데이터,인프라통합의난제
__논리적엔티티로서의데이터프로덕트
데이터프로덕트설계패턴
__CQRS란무엇인가
__데이터프로덕트로서의읽기복제본
데이터프로덕트설계원칙
__리소스지향읽기최적화설계
__데이터프로덕트의데이터는불변이다
__유비쿼터스언어를사용하라
__소스에서직접수집하라
__명확한상호운용성표준
__원시데이터금지
__컨슈머에맞추지마라
__누락된값,기본값,그리고데이터타입
__의미적일관성
__원자성
__호환성
__변동성이큰참조데이터는추상화하라
__새로운데이터에는새로운소유권이따른다
__데이터보안패턴
__메타모델수립
__셀프서비스허용
__도메인간관계
__전사적일관성
__이력관리,재전송,덮어쓰기
__여러소유자가있는비즈니스역량
__운영모델
데이터프로덕트아키텍처
__상위수준플랫폼설계
__데이터수집및온보딩역량
__데이터품질
__데이터이력관리
솔루션설계
__실제사례
__스토리지계정과의대응관계
__데이터파이프라인과의대응관계
__데이터제공역량
__데이터제공서비스
__파일가공서비스
__비식별화서비스
__분산오케스트레이션
__지능형소비서비스
__데이터프로덕트를직접사용할때의고려사항
시작해보자
정리

5장서비스와API관리
API관리소개
서비스지향아키텍처란무엇인가
__전사적애플리케이션통합
__서비스오케스트레이션
__서비스커리어그래피
__퍼블릭서비스와프라이빗서비스
__서비스모델과표준데이터모델
__엔터프라이즈데이터웨어하우징아키텍처와의유사점
API관리에대한현대적관점
__연합형책임모델
__API게이트웨이
__제품으로서의API
__컴포지트서비스
__API계약
__API탐색가능성
마이크로서비스
__함수
__서비스메시
__마이크로서비스도메인바운더리
에코시스템커뮤니케이션
경험API
__그래프QL
__프론트엔드를위한백엔드
실전사례
메타데이터관리
데이터프로덕트를제공하는읽기지향API
정리

6장이벤트와알림관리
이벤트에대한소개
__알림vs상태전송
__비동기통신모델
모던이벤트기반아키텍처의형태
__메시지큐
__이벤트브로커
__이벤트처리스타일
__이벤트프로듀서
__이벤트컨슈머
__이벤트스트리밍플랫폼
__거버넌스모델
__데이터프로덕트저장소로서의이벤트저장소
__애플리케이션백엔드로서의이벤트저장소
운영백본으로서의스트리밍
보장과일관성
__일관성수준
__처리방식
__메시지순서
__데드레터큐
__스트리밍상호운용성
거버넌스와셀프서비스
정리

7장개별사항을통합해큰그림그리기
도메인간상호운용성
__간략한복습
__데이터배포vs애플리케이션통합
__데이터배포패턴
__애플리케이션통합패턴
__일관성과탐색가능성
변화를가이드하고영감과동기를부여하는법
__도메인바운더리설정
__예외처리
조직차원의변화
__팀토폴로지
__조직계획수립
정리

8장데이터거버넌스와보안
데이터거버넌스
__거버넌스프레임워크
__프로세스:데이터거버넌스활동
__효과적이고실용적인거버넌스구축
__데이터거버넌스를위한지원서비스
__데이터계약
데이터보안
__사일로화된현재의접근방식
__신뢰경계
__데이터분류및라벨
__데이터사용분류
__통합데이터보안
__신원제공자
__실제사례
__일반적인보안프로세스흐름
__API기반아키텍처보안
__이벤트기반아키텍처보안
정리

9장메타데이터를통한데이터민주화
메타데이터관리
엔터프라이즈메타데이터모델
__메타모델의실제예시
__데이터도메인과데이터프로덕트
__데이터모델
__데이터계보
__기타메타데이터영역
메타레이크아키텍처
__카탈로그의역할
__지식그래프의역할
정리

10장모던마스터데이터관리
마스터데이터관리스타일
데이터통합
마스터데이터관리솔루션설계
도메인지향적마스터데이터관리
__참조데이터
__마스터데이터
__서비스로서의MDM과데이터품질
MDM과데이터큐레이션
__지식교환
__통합뷰
__재사용가능한컴포넌트와통합로직
__통합허브를통한데이터재게시
__애그리게이트를통한데이터재게시
데이터거버넌스권장사항
정리

11장데이터를가치로전환하기
데이터를가치로전환하는과정에서의과제들
도메인데이터저장소
__컨슈머정렬유스케이스의세분성
__데이터도메인저장소vs데이터프로덕트
모범사례
__비즈니스요구사항
__대상사용자와운영모델
__비기능적요구사항
__데이터파이프라인과데이터모델
__DDS의수행역할범위지정
비즈니스인텔리전스
__시맨틱계층
__셀프서비스도구와데이터
__모범사례
고급분석:MLOps
__프로젝트시작
__실험과추적
__데이터엔지니어링
__모델운영화
__예외사항
정리

12장이론을실무에적용하기
데이터여정에대한짧은회고
중앙집중형인가?탈중앙형인가?
실현하기
__기회포착단계:전략적방향설정
__전환단계:기반준비
__최적화단계:역량전문화
데이터주도문화
__데이터옵스
__거버넌스와리터러시
엔터프라이즈아키텍트의역할
__블루프린트와다이어그램
__현대적인능력
__통제와거버넌스
마치면서

|이책에서다루는내용|
ㆍ규제요구사항,개인정보보호문제,데이터메시와데이터패브릭등최신데이터관리에관한최신트렌드
ㆍ클라우드데이터랜딩존,도메인주도설계(DDD),데이터프로덕트설계등데이터아키텍처구축방법과노하우
ㆍ데이터거버넌스와보안,마스터데이터관리,셀프서비스데이터마켓플레이스,메타데이터의중요성

|이책의대상독자|
-경영진및아키텍트:최고데이터책임자(CDO),최고기술책임자(CTO),수석아키텍트,엔터프라이즈아키텍트,수석데이터아키텍트
-분석팀:데이터과학자,데이터엔지니어,데이터분석가,분석총괄책임자
-개발팀:데이터엔지니어,데이터과학자,비즈니스인텔리전스엔지니어,데이터모델러및설계자,기타데이터전문가
-컴플라이언스및거버넌스팀:최고정보보안책임자(CISO),데이터보호책임자,정보보안분석가,규제준수책임자,데이터스튜어드,비즈니스분석가

|이책의구성|
1장에서는데이터관리가무엇인지,어떻게변화하고있는지,그리고디지털전환에어떤영향을미치는지를맥락적관점에서살펴본다.그리고최근몇년간의현황과데이터전략수립지침을제공한다.2장에서는대규모데이터관리의세부사항을다룬다.데이터도메인을활용해대규모데이터환경을관리하는방법론으로서도메인주도설계(DDD)와비즈니스아키텍처를살펴본다.3장에서는데이터아키텍처를구조화하고데이터도메인과일치시키는방법으로서,토폴로지와데이터랜딩존에초점을맞춘다.
4장에서는데이터프로덕트,명령쿼리책임분리(CQRS)및이를가이드하는원칙에초점을맞추고,솔루션설계사례를제시한다.5장에서는API관리를,6장에서는이벤트및알림관리를살펴본다.7장에서는이제까지의모든내용에아키텍처가이드와실제경험을곁들이고,하나로묶어포괄적으로살펴본다.
8장에서는급변하는시대에도장기적으로실용적이고지속가능한방식으로데이터거버넌스와보안에접근하는방법을살펴본다.9장에서는메타데이터의활용,중요성,그리고민주화의가능성을깊이있게다룬다.
10장에서는분산되어광범위하게흩어져있는자산에대한데이터일관성을유지하기위해마스터데이터관리(MasterDataManagement,MDM)를어떻게활용할지안내하고,11장에서는데이터를가치로전환하는문제를다룬다.12장에서는이제까지다룬내용을실현하는예시와함께데이터관리와엔터프라이즈아키텍처의미래에대한비전으로책을마무리한다.

[옮긴이의말]
데이터란추상적인개념이나사실을기호,문자,숫자등으로나타낸사실(givenfact)혹은‘기초자료’를의미하며,데이터관리는이러한자료를수집,저장,정리해서가치있는정보로변환하는과정을말합니다.데이터의개념과관리방법은저장매체와기술의발전에따라원시적인방법(점토판과파피루스등)에서디지털중심의현대적인방법(DBMS,클라우드컴퓨팅)으로발전해왔으며앞으로도계속진화해갈것입니다.근대적인컴퓨터가발명된후데이터의관리는중앙집중적구조를갖고데이터를정형적으로관리하는DBMS가중심을이뤄왔습니다.그러나인터넷과빅데이터의시대인2000년대를전후로클라우드컴퓨팅의등장과함께데이터의원격저장과분산화가본격화되기시작했고3V(Volume,Velocity,Variety)의특징을갖는빅데이터는AI출현의기초가되었습니다.AI의출현과더불어데이터는기하급수적으로늘어났고복잡해졌으며,그중요성은과거에비해점점더커지고있습니다.이러한변화에따라데이터세상도같이변화하고있습니다.단순하게모아서잘관리하는것이아닌데이터의공유와활용을위한새로운방법들이모색되고있습니다.
현재모든분야에서AI를빼고이야기하기어려워지고AI의활용도는시간이지나면서더높아지고있습니다.데이터는AI기술에서매우중요합니다.AI가새로운내용을학습하고올바른답을내기위해서는그답의원천이되는데이터가잘관리되어야합니다.특히,LLM은학습데이터의품질에절대적으로의존합니다.데이터세상에는“쓰레기를넣으면쓰레기가나온다(GarbageIn,GarbageOut)”라는유명한말이있습니다.이는훌륭한알고리즘이나AI모델을사용하더라도,입력되는원천데이터(rawdata)의품질이낮으면결과물도가치가없다는뜻입니다.이에,이책에서강조하고있는데이터거버넌스와품질관리가이루어지지않는다면AI가답하는내용은편향되거나존재하지않는사실을만들어낼것입니다.
요컨대,AI시대에도데이터의품질과관리는점점더중요해질것입니다.하지만문제는데이터구조를잡고,수집하고,관리하는작업이예전과다르게난이도가점점더높아지고있다는점입니다.데이터의양은관리하기어려울정도로늘어나고있고데이터의형태또한다양해지고저장위치도다양해지고있습니다.이와동시에,분산된데이터의무결성과일관성도유지해야하고보안처리도해야합니다.데이터의수명조차가변적입니다.이러한수많은어려움에도불구하고,AI시대를맞아더더욱데이터는기업의핵심자산으로취급되고있고데이터관리는기업이생존을결정하는문제가되어가고있습니다.
이책에서언급되는데이터패브릭(DataFabric)과데이터메시(DataMesh)도데이터에대한새로운시도라고할수있습니다.데이터패브릭은온프레미스,클라우드등여러위치에분산된데이터를물리적인통합하는것이아닌,메타데이터기술을활용해가상화된통합계층에서실시간으로관리하는데이터아키텍처를말합니다.이러한아키텍처는흩어진데이터소스를하나로묶어서관리하기때문에데이터의파편화를막고데이터민주화에도기여하게됩니다.반면데이터메시는도메인기반의분산데이터소유권과조직문화중심으로데이터를관리합니다.데이터메시는대규모데이터를중앙에서관리하던방식에서벗어나도메인별로데이터를분산하고소유하는탈중앙화아키텍처로도메인팀이데이터를제품처럼관리하고이를지원하기위한셀프서비스플랫폼과거버넌스를통해데이터품질을높이고비즈니스가치를높이는방법을말합니다.
이책에서는이러한개념을더발전시켜,모던데이터스택과실무적인내용을추가해,단순한이론에그치지않고대규모데이터환경에서데이터품질을보장하고기술부채를줄이는방법과더불어비즈니스의성공을위한데이터아키텍처와관리기법에대해설명해줍니다.우리는이책을통해데이터생성부터폐기까지의데이터수명주기에관련된다양한데이터관리의개념을알수있습니다.과거의데이터관리는주로어떻게데이터를효율적으로보관할것인가하는보관의문제였다면,지금은어떻게신뢰할수있는데이터를계속해서제공할수있을것인가하는데이터공급의문제로바뀌었습니다.이책에서이야기하는데이터제품과대규모데이터관리전략은현업에서데이터공급망을구축하는이들에게큰도움이될것입니다.또한실무자가꼭알아야할실제기업환경에서활용할수있는다양한팁들도많이포함되어있습니다.
마지막으로,이책이나오기까지는여러우여곡절이있었습니다.어려운과정에서도이책을꼼꼼하게검토해주신출판사관계자분들과이책에관심을가져준많은분께감사드립니다.데이터때문에고민하는관련자들이문제를해결하고업무를진행하는데이책이작으나마도움이되길바랍니다.
-김영기,김현진