데이터 분석을 위한 SQL 레시피 (데이터 처리부터 매출/유저 파악, 리포팅 등 각종 데이터 분석과 활용까지 | PostgreSQL, Apache Hive, Amazon Redsh

가사키나가토

저자가사키나가토(加?長門)
게이오대학대학원과학생벤처에서멀티미디어데이터베이스를대상으로한검색및추천알고리즘의연구와서비스개발을했습니다.현재는(주)DMM.com연구소에서빅데이터를활용하기위한기반시스템구축,스파크와SQLonHadoop을이용한추천기능및빅데이터활용에대한연구와개발을하고있습니다

1장빅데이터시대에요구되는분석력이란?
1강데이터를둘러싼환경의변화
1접근분석도구의등장
2빅데이터의등장

2강여러가지과제
1분석담당자의과제
2엔지니어의과제
3분석담당자와엔지니어의이해관계

2장이책에서다루는도구와데이터
3강시스템
1PostgreSQL
2ApacheHive
3AmazonRedshift
4GoogleBigQuery
5SparkSQL

4강데이터
1데이터의종류
2업무데이터
3로그데이터
4두데이터를사용해서생성되는가치

3장데이터가공을위한SQL
5강하나의값조작하기
1코드값을레이블로변경하기
2URL에서요소추출하기
3문자열을배열로분해하기
4날짜와타임스탬프다루기
5결손값을디폴트값으로대치하기

6강여러개의값에대한조작
1문자열연결하기
2여러개의값비교하기
32개의값비율계산하기
4두값의거리계산하기
5날짜/시간계산하기
6IP주소다루기

7강하나의테이블에대한조작
1그룹의특징잡기
2그룹내부의순서
3세로기반데이터를가로기반으로변환하기
4가로기반데이터를세로기반데이터로변환하기

8강여러개의테이블조작하기
1여러개의테이블을세로로결합하기
2여러개의테이블을가로로정렬하기
3조건플래그를0과1로표현하기
4계산한테이블에이름붙여재사용하기
5유사테이블만들기

4장매출을파악하기위한데이터추출
9강시계열기반으로데이터집계하기
1날짜별매출집계하기
2이동평균을사용한날짜별추이보기
3당월매출누계구하기
4월별매출의작대비구하기
5Z차트로업적의추이확인하기
6매출을파악할때중요포인트

10강다면적인축을사용해데이터집약하기
1카테고리별매출과소계계산하기
2ABC분석으로잘팔리는상품판별하기
3팬차트로상품의매출증가율확인하기
4히스토그램으로구매가격대집계하기

5장사용자를파악하기위한데이터추출
11강사용자전체의특징과경향찾기
1사용자의액션수집계하기
2연령별구분집계하기
3연령별구분의특징추출하기
4사용자의방문빈도집계하기
5벤다이어그램으로사용자액션집계하기
6Decile분석을사용해사용자를10단계그룹으로나누기
7RFM분석으로사용자를3가지관점의그룹으로나누기

12강시계열에따른사용자전체의상태변화찾기
1등록수의추이와경향보기
2지속률과정착률산출하기
3지속과정착에영향을주는액션집계하기
4액션수에따른정착률집계하기
5사용일수에따른정착률집계하기
6사용자의잔존율집계하기
7방문빈도를기반으로사용자속성을정의하고집계하기
8방문종류를기반으로성장지수집계하기
9지표개선방법익히기

13강시계열에따른사용자의개별적인행동분석하기
1사용자의액션간격집계하기
2카트추가후에구매했는지파악하기
3등록으로부터의매출을날짜별로집계하기

6장웹사이트에서의행동을파악하는데이터추출하기
14강사이트전체의특징/경향찾기
1날짜별방문자수/방문횟수/페이지뷰집계하기
2페이지별쿠키/방문횟수/페이지뷰집계하기
3유입원별로방문횟수또는CVR집계하기
4접근요일,시간대파악하기

15강사이트내의사용자행동파악하기
1입구페이지와출구페이지파악하기
2이탈률과직귀율계산하기
3성과로이어지는페이지파악하기
4페이지평가산출하기
5검색조건들의사용자행동가시화하기
6폴아웃리포트를사용해사용자회유를가시화하기
7사이트내부에서사용자흐름파악하기
8페이지완독률집계하기
9사용자행동전체를시각화하기

16강입력양식최적화하기
1오류율집계하기
2입력~확인~완료까지의이동률집계하기
3입력양식직귀율집계하기
4오류가발생하는항목과내용집계하기

7장데이터활용의정밀도를높이는분석기술
17강데이터를조합해서새로운데이터만들기
1IP주소를기반으로국가와지역보완하기
2주말과공휴일판단하기
3하루집계범위변경하기

18강이상값검출하기
1데이터분산계산하기
2크롤러제외하기
3데이터타당성확인하기
4특정IP주소에서의접근제외하기

19강데이터중복검출하기
1마스터데이터의중복검출하기
2로그중복검출하기

20강여러개의데이터셋비교하기
1데이터의차이추출하기
2두순위의유사도계산하기

8장데이터를무기로삼기위한분석기술
21강검색기능평가하기
1NoMatch비율과키워드집계하기
2재검색비율과키워드집계하기
3재검색키워드를분류해서집계하기
4검색이탈비율과키워드집계하기
5검색키워드관련지표의집계효율화하기
6검색결과의포괄성을지표화하기
7검색결과의타당성을지표화하기
8검색결과순위와관련된지표계산하기

22강데이터마이닝
1어소시에이션분석

23강추천
1추천시스템의넓은의미
2특정아이템에흥미가있는사람이함께찾아보는아이템검색
3당신을위한추천상품
4추천시스템을개선할때의포인트
5출력할때포인트
6추천과관련한지표

24강점수계산하기
1.여러값을균형있게조합해서점수계산하기
2값의범위가다른지표를정규화해서비교가능한상태로만들기
3각데이터의편차값계산하기
4거대한숫자지표를직감적으로이해하기쉽게가공하기
5독자적인점수계산방법을정의해서순위작성하기

9장지식을행동으로옮기기
25강데이터활용의현장
1데이터활용방법생각하기
2데이터와관련한등장인물이해하기
3로그형식생각해보기
4데이터를활용하기쉽게상태조정하기
5데이터분석과정
6분석을위한한걸음내딛기
7상대방에맞는리포트만들기
8빅데이터시대의데이터분석자

데이터처리부터매출·유저파악,리포팅등각종데이터분석과활용까지!
현장에서데이터분석에필요한실전SQL작성법과노하우
단순한데이터분석에만족하던시대를지나딥러닝시대로접어들었지만,SQL은여전히빅데이터와스몰데이터를가리지않고널리쓰이는소중한분석도구입니다.다만분석용SQL이보통길고읽기어렵다보니,관련업무담당자들이실무에활용해보려해도금세한계에부닥치는경우가많습니다.

이에안타까움을느낀저자들이평소현장에서실제로작성했던데이터분석업무리포트나SQL코드를범용화하여한권의레시피모음집으로보기쉽게묶어냈습니다.데이터가공과매출파악,사용자파악,웹사이트내사용자행동파악,이상수치검출,검출기능평가,추천기능등구체적상황별실전대응방법과노하우를한권의책에세심히녹여냈습니다.

이책은DB관리자나개발자는물론,일반인(통계분석/사용자경향분석/마케팅업무관련자)까지도유용하게써먹을수있는구체적인상황별실전팁으로가득합니다.다만SQL사용법자체를설명하는입문서는아니므로,기본적인SQL지식이없다면내용을이해하기어려울수있습니다.SQL을처음접하는독자라면먼저한빛미디어의『SQL첫걸음』과『SQL레벨업』부터읽어보기를권합니다.당장실전에활용할‘실천용’지식이필요한독자라면분명이책이훌륭한나침반이되어줄것입니다.

★주요내용

●데이터를둘러싼환경변화와각종과제
●각종데이터와미들웨어
●기초적인SQL작성법과데이터가공법
●구체적인상황별데이터분석법과SQL예제
●실제데이터활용사례와노하우