Data Catalog 만들기 (Data Lake 플랫폼의 핵심 서비스 구현)

윤선웅

경영/IT컨설턴트,DataLake연구가

1999년S/W개발자로커리어를시작하여,15년이상경영컨설턴트와IT컨설턴트로서업무를수행해왔다.주로IT전략기획업무를수행하였으며,최근에는빅데이터전략,데이터플랫폼전략,최근에는DataLake프로젝트수행과관련문헌작성에전념하고있다.

학력
-경남과학고등학교졸업
-KAIST기계공학과학사
-KAIST경영대학원경영정보MBA

주요경력
-시스템엔지니어(LGCNS)
-경영/IT컨설턴트(A.T.Kearney/(전)밸텍컨설팅/딜로이트컨설팅)

주요도서
-《차세대빅데이터플랫폼DataLake》,좋은땅,2021.

머리말

제1장DataCatalog란무엇인가?
1.DataLake플랫폼
2.DataLake플랫폼에서DataCatalog의역할
3.DataCatalogvs.상품카탈로그
4.DataCatalog의정의
5.DataCatalog의주요기능
6.기존‘메타데이터관리시스템’과의차이점

제2장DataCatalog는왜중요한가?
1.DataLake플랫폼의출발점이자관문
2.전사데이터의자산화
3.데이터도구의활용성향상
4.DataCatalog의실패는‘데이터늪’

제3장DataCatalog주요기능만들기
1.사용자Front-End기능
1-1.카탈로그검색
1-2.카탈로그조회
1-3.데이터수집요청(VoC)
1-4.데이터질의응답
1-5.카탈로그큐레이션
1-6.실데이터조회
1-7.실행스케줄러
1-8.데이터전처리도구와의연계
1-9.데이터분석도구와의연계
1-10.용어사전관리
1-11.MyCatalog
2.Back-End기능
2-1.메타데이터수집
2-2.메타데이터추천(M/L)
2-3.검색엔진색인생성
2-4.쿼리로그수집/파싱
2-5.데이터프로파일링
2-6.데이터활용현황집계
2-7.데이터배치처리
2-8.데이터보안처리
3.관리자기능
3-1.데이터활용현황판(대시보드)
3-2.카테고리관리
3-3.데이터요청(VoC)처리
3-4.데이터LifeCycle관리
3-5.데이터품질관리
3-6.플랫폼보안관리
3-7.플랫폼모니터링

제4장DataCatalog개발절차
1.자체개발vs.솔루션도입의사결정
2.단계별구현로드맵수립
3.메타데이터구축모듈
3-1.대상‘데이터객체’범위정의
3-2.‘데이터Steward’지정
3-3.‘데이터객체’유형별메타데이터관리항목정의
3-4.항목별메타데이터수집방법및기능설계
3-5.메타데이터관련Back-End기능개발
3-6.카탈로그큐레이션
4.DataPipeline구축모듈
4-1.원천데이터수집범위정의
4-2.‘데이터오너’지정
4-3.DataPipeline설계
4-4.DataPipeline개발
4-5.원천데이터수집
5.Front-End구축모듈
5-1.DataCatalogFront-End요건정의
5-2.DataCatalogFront-End기능설계
5-3.DataCatalogFront-End기능개발
6.변화관리모듈
6-1.변화관리계획수립
6-2.사용자그룹별커뮤니케이션
6-3.사용자변화관리
7.통합테스트

제5장.DataCatalog의미래발전방향
1.전사통합데이터포털
2.‘지식포털’과의통합
3.데이터분석관련모든기능의통합
4.‘전사DA시스템’과의통합
5.AI기반카탈로그큐레이션
6.개인화된콘텐츠추천

참고자료

순수하고밝은무당의미래를기대하며!

이책은《차세대빅데이프플랫폼Datalake》에이은DataLake시리즈의2편에해당한다.DataLake플랫폼에서가장핵심적인역할을수행하는‘DataCatalog’에관한것,즉DataCatalog가무엇인지,왜중요한지,주요기능등에대해설명한다.
DataCatalog에대한내용부터개발절차,관리자로서알아야할기능,마지막으로DataCatalog의미래발전방향까지DataCatalog의모든것을짧은내용안에담고있다.
이책은DataLake플랫폼의가장핵심서비스라고할수있는DataCatalog에대해다루고있기에,DataCatalog를기획중인IT/DT기획자,시스템구축을준비중인IT/DT부서의담당자,빅데이터담당자라면큰도움이될것이다.