스노우플레이크 쿡북 (스노우플레이크로 구축하는 클라우드 데이터 웨어하우스)

하미드마무드쿠레시

20년동안시니어클라우드및데이터웨어하우스전문가로서여러데이터웨어하우스와비즈니스인텔리전스솔루션을설계하고구현했습니다.테라데이터(Teradata),오라클(Oracle),하둡(Hadoop)은물론스노우플레이크와같은최신클라우드기반도구에이르기까지다양한데이터분석플랫폼에대한광범위한경험이있습니다.더불어현대적인플랫폼관련지식과함께기존기술을광범위하게활용하여스노우플레이크의데이터웨어하우징과분석에있어서실용적인전문지식을축적했으며,이를책으로기록했습니다.

CHAPTER1스노우플레이크시작하기
기술적요구사항
새로운스노우플레이크인스턴스생성하기
__준비하기
__따라하기
__정리하기
맞춤형멀티클러스터가상웨어하우스생성하기
__준비하기
__따라하기
__정리하기
__더알아보기
스노우플레이크웹UI를사용하여쿼리실행하기
__준비하기
__따라하기
__정리하기
SnowSQL로연결하기
__준비하기
__따라하기
__정리하기
__더알아보기
JDBC로연결하기
__준비하기
__따라하기
__정리하기
__더알아보기
신규계정관리자생성과기본제공역할이해
__준비하기
__따라하기
__정리하기
__더알아보기

CHAPTER2데이터라이프사이클관리
기술적요구사항
데이터베이스관리하기
__준비하기
__따라하기
__정리하기
__더알아보기
데이터스키마관리하기
__준비하기
__따라하기
__정리하기
__더알아보기
테이블관리하기
__준비하기
__따라하기
__정리하기
__더알아보기
외부테이블과스테이지관리하기
__준비하기
__따라하기
__정리하기
__더알아보기
스노우플레이크에서데이터뷰관리하기
__준비하기
__따라하기
__정리하기
__더알아보기

CHAPTER3데이터로딩및추출
기술적요구사항
비공개S3버킷에대한액세스
__준비하기
__따라하기
__정리하기
클라우드스토리지에서대량데이터로딩하기
__준비하기
__따라하기
__정리하기
로컬시스템에서대량데이터로딩하기
__준비하기
__따라하기
__정리하기
파케이파일로딩하기
__준비하기
__따라하기
__정리하기
JSON반정형데이터를관계형뷰로변환하기
__준비하기
__따라하기
__정리하기
Newline-delimitedJSON(또는NDJSON)데이터처리하기
__준비하기
__따라하기
__정리하기
Snowpipe를이용하여준실시간(nearreal-time)으로데이터처리하기
__준비하기
__따라하기
__정리하기
스노우플레이크에서데이터추출하기
__준비하기
__따라하기
__정리하기

CHAPTER4데이터파이프라인구축
기술적요구사항
태스크생성과스케줄링
__준비하기
__따라하기
__정리하기
태스크트리를통한파이프라인활용
__준비하기
__따라하기
__정리하기
태스크이력조회
__준비하기
__따라하기
__정리하기
변경데이터캡처를위한스트림개념이해
__준비하기
__따라하기
__정리하기
스트림과태스크를결합하여변경데이터를처리하는파이프라인만들기
__따라하기
__정리하기
데이터타입변환과오류관리
__따라하기
__정리하기
__더알아보기
다양한콘텍스트함수를사용하여콘텍스트관리하기
__준비하기
__따라하기
__정리하기
__더알아보기

CHAPTER5데이터보호와보안
기술적요구사항
커스텀역할설정과완전한역할계층구조만들기
__준비하기
__따라하기
__정리하기
__더알아보기
사용자에게기본역할설정및할당
__준비하기
__따라하기
__정리하기
__더알아보기
데이터보안과역할관리로부터사용자관리분리하기
__준비하기
__따라하기
__정리하기
높은보안수준의데이터접근관리를위한커스텀역할구성
__준비하기
__따라하기
__정리하기
개발,테스트,사전운영,운영데이터베이스계층및역할설정
__준비하기
__따라하기
__정리하기
ACCOUNTADMIN역할과사용자보호
__준비하기
__따라하기
__정리하기

CHAPTER6성능및비용최적화
기술적요구사항
테이블스키마검사와최적화구조도출
__준비하기
__따라하기
__정리하기
쿼리플랜및병목지점식별
__준비하기
__따라하기
__정리하기
분석을통한비효율적인쿼리제거
__준비하기
__따라하기
__정리하기
불필요한페일세이프와타임트래블스토리지줄이기
__준비하기
__따라하기
__정리하기
성능향상을위한구체화뷰
__준비하기
__따라하기
__정리하기
__더알아보기
테이블클러스터링수정을위한쿼리플랜검토
__준비하기
__따라하기
__정리하기
가상웨어하우스스케일최적화
__준비하기
__따라하기
__정리하기

CHAPTER7시큐어데이터셰어링
기술적요구사항
다른스노우플레이크계정과테이블공유
__준비하기
__따라하기
__정리하기
다른스노우플레이크계정과뷰공유
__준비하기
__따라하기
__정리하기
다른스노우플레이크계정과데이터베이스공유및신규생성객체공유설정
__준비하기
__따라하기
__정리하기
스노우플레이크를사용하지않는미사용자와데이터공유를위한리더계정생성및구성
__준비하기
__따라하기
__정리하기
스노우플레이크를사용하지않는미사용자와객체공유설정
__준비하기
__따라하기
__정리하기
스노우플레이크를사용하지않는미사용자와데이터공유시비용관리
__준비하기
__따라하기
__정리하기

CHAPTER8타임트래블과복제
기술적요구사항
타임트래블을이용하여특정시점의데이터상태로돌아가기
__준비하기
__따라하기
__정리하기
타임트래블을이용하여실수로손실된데이터복구하기
__준비하기
__따라하기
__정리하기
타임트래블을이용하여삭제된데이터베이스,테이블및다른객체들을식별하고복원하기
__준비하기
__따라하기
__정리하기
복제와함께타임트래블을이용하여디버깅향상시키기
__준비하기
__따라하기
__정리하기
복제를이용하여운영환경기반으로빠르게새로운환경셋업하기
__준비하기
__따라하기
__정리하기

CHAPTER9고급SQL테크닉
기술적요구사항
타임스탬프데이터다루기
__준비하기
__따라하기
__정리하기
날짜데이터로부터캘린더정보추출하기
__준비하기
__따라하기
__정리하기
중복제거카운트하기
__준비하기
__따라하기
__정리하기
트랜잭션관리하기
__준비하기
__따라하기
__정리하기
윈도우함수를사용하여데이터분석하기
__준비하기
__따라하기
__정리하기
시퀀스생성하기
__준비하기
__따라하기
__정리하기

CHAPTER10스노우플레이크의확장기능
기술적요구사항
SQL을이용하여스칼라사용자정의함수생성하기
__준비하기
__따라하기
__정리하기
SQL을이용하여테이블사용자정의함수생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를이용하여스칼라사용자정의함수생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를이용하여테이블사용자정의함수생성하기
__준비하기
__따라하기
__정리하기
아파치스파크연결하기
__준비하기
__따라하기
__정리하기
아파치스파크를이용하여스노우플레이크데이터전처리하기
__준비하기
__따라하기
__정리하기

CHAPTER부록

스노우플레이크로구축하는클라우드데이터플랫폼
스노우플레이크는뛰어난확장성,유연성,성능등클라우드의주요장점을그대로흡수하여제공하는매력적인아키텍처와기능을갖추고있는데이터플랫폼입니다.
이책은스노우플레이크를처음접하거나접한지얼마안된데이터개발자,데이터컨설턴트,데이터과학자를위한책입니다.스노우플레이크에대한설명은공식홈페이지에서제공하고있지만보다실용적인SQL쿼리예제와함께실무에필요한내용들을위주로담고있습니다.이책을이해하기위해필요한SQL지식은기본적인CREATE,SELECT문만알아도충분합니다.이책을이용하는가장좋은방법은가지고있는계정이나Trial계정을사용하여직접스노우플레이크에서쿼리를실행해보는것입니다.

-감수자의글-
스노우플레이크는클라우드에서만동작하는클라우드기반데이터플랫폼이며데이터웨어하우스(DataWarehouse),데이터레이크(DataLake)및데이터사이언스(DataScience)등다양한워크로드에서활용될수있습니다.스노우플레이크는클라우드의장점인뛰어난확장성,유연성,성능등을그대로활용한아키텍처와기능을제공합니다.이책에서는스노우플레이크의아키텍처를상세하게다루지는않았지만,여러곳에서스노우플레이크특유의독특하고흥미로운아키텍처에대한설명을담고있습니다.
이책은스노우플레이크를사용한데이터웨어하우스구축방법및관련기능에대한설명을담고있습니다.데이터웨어하우스구축시일반적으로수반되는DBMS(DatabaseManagementSystem)에관련된주요작업및순서는다음과같습니다.
1)DBMS설치및사용환경구성
2)설치된DBMS에데이터베이스,스키마,테이블등필요한객체생성
3)생성된객체에데이터를적재하기위한환경설정및적재프로그램구현
4)구현된적재프로그램자동화및스케줄링
5)사용자별적재된데이터에대한접근권한설정
6)적재,조회등데이터처리성능향상을위한객체의물리적인구조변경및객체추가
7)적재된데이터를타시스템과공유하기위한설정

이책은위에기술된작업과순서대로장을나누고배열한후,장별로해당작업을스노우플레이크로구현하는과정을쉽게따라할수있도록구성했습니다.데이터웨어하우스구축경험이없는독자분이라도책의내용과흐름이위와같다는것을숙지하면이해에많은도움이될것입니다.
스노우플레이크를사용하면서인상적이었던것은사용하기에복잡하지않고데이터처리도빨라서인지기존DBMS에비해훨씬가볍다라는것이었습니다.눈송이처럼가벼운느낌은주는DBMS,그래서스노우플레이크라는이름이참잘어울린다고생각합니다.