파이썬 데이터 클리닝 쿡북 : 파이썬과 판다스를 활용한 데이터 전처리

마이클워커

저자:마이클워커
30년이상여러교육기관에서데이터분석가로일했다.또한2006년부터대학에서데이터과학,연구방법,통계,컴퓨터프로그래밍을가르쳤다.그는공공부문및재단의보고서를생산하며학술지에게재할자료를분석한다.

역자:최용
한국방송통신대학교에서컴퓨터과학을전공하고2000년대초부터IT업계에서일했다.은행의일괄작업운영과서버운영자동화를돕는외산소프트웨어의기술지원업무를주로했고,현재는위키북스에서교정업무를하고있다.
저서로《왕초보를위한파이썬》(사이버출판사,2002),《예제중심의파이썬》(인피니티북스)등이있으며,《파이썬으로배우는데이터과학입문과실습》(위키북스),《익스플로링라즈베리파이》(위키북스),《침투본능,해커의기술》(위키북스),《웹애플리케이션보안》(한빛미디어)등을번역했다.

▣01장:표데이터를판다스로가져올때의데이터정제
___1.1CSV파일가져오기
___1.2엑셀파일가져오기
___1.3SQL데이터베이스의데이터를가져오기
___1.4SPSS,Stata,SAS데이터가져오기
___1.5R데이터가져오기
___1.6표데이터저장

▣02장:HTML과JSON을판다스로가져올때의데이터정제
___2.1단순한JSON데이터가져오기
___2.2API를통해복잡한JSON데이터가져오기
___2.3웹페이지의데이터가져오기
___2.4JSON데이터저장

▣03장:데이터측정
___3.1처음데이터를훑어보기
___3.2열을선택하고정돈하기
___3.3행을선택하기
___3.4범주형변수의빈도를생성하기
___3.5연속변수의요약통계생성하기

▣04장:데이터의부분집합에서누락값과이상값식별
___4.1누락값찾기
___4.2변수가1개인이상값식별하기
___4.3이변량관계의이상값과예상치못한값식별하기
___4.4부분집합을이용해변수간의논리적불일치를찾기
___4.5선형회귀를활용해유의한영향을
___4.6k-최근접이웃을활용해이상값을찾기
___4.7아이솔레이션포레스트를활용한이상탐지

▣05장:시각화를활용해예상치못한값을식별하기
___5.1히스토그램을활용해연속변수의분포를조사하기
___5.2박스플롯을활용해연속변수의이상값을식별하기
___5.3그룹별박스플롯으로특정그룹에서예상치못한값을드러내기
___5.4바이올린플롯으로분포형태와이상값을조사하기
___5.5산점도를활용해이변량관계를보기
___5.6라인플롯으로연속변수의추세를조사하기
___5.7상관행렬을기반으로히트맵을작성하기

▣06장:데이터정제,탐색및시리즈연산
___6.1판다스시리즈에서값을얻기
___6.2판다스시리즈에대한요약통계표시
___6.3시리즈값변경
___6.4조건에따라시리즈값을변경
___6.5문자열시리즈데이터평가와정제
___6.6날짜다루기
___6.7누락데이터식별과정제
___6.8k-최근접이웃으로누락값대치

▣07장:집계시지저분한데이터다루기
___7.1itertuples을활용한데이터순회(안티패턴)
___7.2넘파이배열의그룹별요약을계산
___7.3groupby를사용해데이터를그룹별로조직화하기
___7.4좀더복잡한집계함수를groupby와함께사용하기
___7.5사용자정의함수및apply와groupby
___7.6groupby를사용해데이터프레임의분석단위를바꾸기

▣08장:데이터프레임들을결합할때의데이터문제해결
___8.1데이터프레임을수직으로결합하기
___8.2일대일병합
___8.3병합기준열을여러개사용하기
___8.4일대다병합
___8.5다대다병합
___8.6병합루틴개발

▣09장:데이터타이딩과리셰이핑
___9.1중복행제거하기
___9.2다대다관계수정하기
___9.3stack과melt로넓은데이터를긴포맷으로리셰이핑
___9.4열그룹을녹이기
___9.5unstack과pivot을

▣10장:사용자정의함수와클래스로데이터정제를자동화
___10.1데이터를처음살펴보는함수
___10.2요약통계와빈도를표시하는함수
___10.3이상치와예상치못한값을식별하는함수
___10.4데이터집계와결합을위한함수
___10.5시리즈값을업데이트하는로직을담은클래스
___10.6표형태가아닌데이터구조를다루는클래스

★이책에서다루는내용★

◎다양한데이터소스로부터데이터를읽고분석하는법
◎데이터프레임,열,행의어트리뷰트를요약하는법
◎데이터를필터링하고주어진요건을충족하는열을선택
◎날짜,누락값이있는데이터등지저분한데이터를다루기
◎메서드체이닝으로파이썬판다스작업생산성을향상
◎시각화를통해통찰을얻고잠재적인데이터이슈를식별
◎데이터의변동을파악하는능력을향상
◎사용자정의함수및클래스를작성해데이터정제를자동화