파이썬을 이용한 빅데이터 수집, 분석과 시각화 (페이스북 트위터 네이버 공공 일반 웹 데이터 기반)

이원하

저자이원하는한국외국어대학교경영정보대학원석사과정을마치고디지털워터마킹과DRM(DigitalRightManagement)기술을이용한보안분야회사를창업하여문서보안이라는솔루션을설계,한국에처음상용화하였다.한동안IT개발에회의를느껴자동차개발쪽에서외도를하다가최근다시복귀,빅데이터처리및서버취약성점검소프트웨어개발을하고있는개발자이다.그리고조그만저수지에낚시점빵을차리는게소원인두아이의아빠이기도하다.

파트1데이터사용을위한계정설정

1장페이스북API사용하기
1.1페이스북가입
1.2페이스북앱ID등록

2장트위터API사용하기
2.1트위터가입
2.2트위터앱등록

3장네이버API사용하기

4장정부3.0공공데이터포털API사용하기
4.1공공데이터포털가입

파트2데이터수집

5장페이스북데이터수집하기
5.1페이스북그래프(Graph)API
5.1.1읽기
5.1.2페이지조회
1.커서(cursor)기반페이지조회
2.시간(timeperiod)기준페이지조회
3.오프셋(offset)기반페이지조회
5.2페이스북ID가지고오기
5.3페이스북포스트(/{post-id}))가져오기
5.4페이스북포스트(/{post-id}))저장

6장트위터데이터수집하기
6.1OAuth란?[OAuth1,2,3]
6.1.1OAuth1.0a인증과정
6.1.2OAuth2.0의탄생
6.2트윗(Tweet)가지고오기
6.3트윗(Tweet)스트림가지고오기[Twitter2]

7장네이버데이터수집하기
7.1검색API의활용
7.2지도API(주소,좌표변환)의활용

8장공공데이터수집하기
8.1전국유료관광지입장객정보
8.2파이썬그래프모듈:matplotlib
8.3출입국관광통계서비스

9장일반적인웹서비스데이터수집하기
9.1이상한나라의앨리스의맛있는스프:BeautifulSoup
9.2통닭공화국의데이터를구해보자
9.2.1비비큐매장정보:HTML태그내정보찾기
9.2.2페리카나매장정보:중복된HTML태그내추출
9.2.3네네치킨매장정보:XML형식
9.2.4교촌치킨매장정보:태그내다양한태그추출
9.2.5처갓집양념치킨매장정보:CP949인코딩
9.2.6굽네치킨매장정보:selenium-브라우저시뮬레이션
1.selenium과WebDriver의설치
2.Selenium테스트
9.2.7통합데이터수집코드

파트3데이터분석과시각화

10장빈도분석:형태소분석기반그래프및워드클라우드
10.1코엔엘파이(KoNLPy)의설치및활용[KoNLPy1]
10.2그래프를그리자:matplotlib
10.2.1기본그래프그리기
10.2.2다수의그래프그리기
10.2.3한글처리
10.2.4여러개의그래프그리기
10.2.5그래프에문자삽입
10.3명사추출및빈도분석

11장데이터기반추천:데이터상관관계분석
11.1상관분석과상관계수
11.2데이터테이블생성:pandas패키지
11.2.1Series
1.일차원(array)데이터의활용
2.딕셔너리(Dictionary)
3.스칼라(Scalar)값
11.2.2DataFrame
1.Series/Dict데이터의활용
2.Dict리스트데이터의활용
3.데이터추가및합치기(merge)
11.3공공데이터를이용한상관분석
11.4히트맵(Heatmap)?seaborn

12장지리정보기반시각화:지리정보와시각화
12.1지리정보가공을위한데이터전처리
12.1.1비비큐주소정보보정
12.1.2페리카나주소정보보정
12.1.3네네치킨주소정보보정
12.1.4교촌치킨주소정보보정
12.1.5처갓집양념치킨주소정보보정
12.1.6굽네치킨주소정보보정
12.2포리움(Folium)의설치및활용[Visualization3,4]
12.2.1포리움설치및객체생성
1.초기객체생성
2.다른유형의맵호출
3.마커(Marker)와팝업(Popup)의설정
4.GeoJSON활용데이터
12.3프랜차이즈주소매핑:Folium?네이버주소검색
12.4전국지도에블록맵으로표시하기

참고문헌

빅데이터수집,분석,시각화를실습할수있는기본서입니다.파트1과파트2에서는소셜미디어,공공데이터,일반웹데이터를수집하는방법을실습합니다.파트3에서는수집한데이터에대한빈도분석과상관관계분석방법을실습하고,지리정보를기반으로한시각화방법을실습합니다.개발자가아닌분들을위하여최소한의파이썬지식만으로도실습할수있도록구성하였습니다.

'데이터를수집할수있습니다'페이스북,트위터,네이버,공공,일반웹사이트에서데이터를수집하는방법을설명합니다.

'데이터를분석하고시각화처리를할수있습니다'코엔엘파이와파이썬라이브러리를이용하여빈도분석을할수있습니다.데이터상관관계분석을실습할수있습니다.그리고지리정보를이용하여시각화를구현할수있습니다.

'최소한의파이썬지식을활용합니다'이책은파이썬문법서는아닙니다.빅데이터를수집하고분석하는방법에중점을두고있으며,그에필요한파이썬문법만책에서최소한으로다룹니다.

'빅데이터수집,분석,시각화를시작하기에적합한책입니다'개발자뿐만아니라기획,마케팅,전략수립,시장조사,스타트업,연구원도최소한의개발도구활용능력을갖춰서데이터를정보화하여사업이나연구에활용할수있어야하는시대입니다.빅데이터프로젝트를진행해야하는개발자를포함하여개발자가아닌분들에게최적화된책입니다.특히개발자가아닌분들은저자가운영하고있는도서관련블로그를적극활용하시기바랍니다.