파이썬으로 시작하는 데이터 분석 (데이터 분석을 위한 Python 문법부터 데이터 수집, 전처리, 탐색까지)

강지영

정보관리기술사,정보시스템수석감리원

휴대폰소프트웨어개발을시작으로IT분야에입문했다.새로운기술에대해호기심이많은데직접뜯어보고다뤄보지않으면잘이해를못하는부류라매우피곤하게살고있다.요새는대학생,취준생그리고비전공자를대상으로IT기술멘토링을할때가장보람을느낀다.주로머신러닝,딥러닝,자연어처리,모바일앱,라즈베리파이관련프로젝트에대해이야기를나눈다.

1장.파이썬시작하기
__1-1파이썬으로무엇을할수있나요?
____1.1.1왜파이썬으로데이터분석을시작하는것이좋을까요?
____1.1.2파이썬,어떤특징이있나요?
____1-1-3.파이썬으로무엇을할수있나요?
____1-1-4.이책을학습하면무엇을할수있나요?
__1-2개발환경구축
____1.2.1아나콘다가뭐예요?
____1-2-2.아나콘다설치파일내려받기
____1-2-3.아나콘다설치하기
__1-3주피터노트북
____1-3-1.HelloPython
____1-3-2.주피터노트북의특징
____1-3-3.주피터노트북주요기능
____1-3-4.주피터노트북사용하기

2장.파이썬기본문법익히기
__2-1변수
____2-1-1변수란무엇일까요?
____2-1-2변수이름을붙이는규칙(1)-꼭지켜야하는규칙
____2-1-3.변수이름을붙이는규칙(2)-에러는발생하지않지만알아두어야하는규칙
__2-2자료형(1)-기본데이터타입
____2-2-1기본데이터타입
____2-2-2데이터타입의형변환
__2-3자료형(2)-컨테이너타입
____2-3-1컨테이너타입이란?
____2-3-2리스트
____2-3-3튜플
____2-3-4세트
____2-3-5딕셔너리
____2-3-6.Summary
__2-4조건문
____2-4-1커피추천프로그램
____2-4-2if
____2-4-3else
____2-4-4elif
____2-4-5이중if
____2-4-6내용돈의운명은?
__2-5반복문
____2-5-1for문
____2-5-2컴프리헨션
____2-5-3while문
____2-5-4흐름제어
____2-5-5반복문연습문제
__2-6입출력
____2-6-1시스템입력
____2-6-2시스템출력
____2-6-3파일입출력
__2-7함수,람다
____2-7-1함수란?
____2-7-2함수만들기
____2-7-3함수예제(1)
____2-7-4함수예제(2)
____2-7-5람다
____2-7-6문자열
__2-8모듈,패키지,클래스
____2-8-1기능꾸러미
____2-8-2모듈만들기
____2-8-3모듈불러오기
____2-8-4패키지
____2-8-5클래스

3장.데이터분석을위한파이썬응용문법
__3-1.numpy
____3-1-1.배열이란?
____3-1-2.배열만들기
____3-1-3.선택
____3-1-4.연산
____3-1-5.변형
____3-1-6.저장
__3-2.pandas
____3-2-1.Series와DataFrame의개념
____3-2-2.만들기
____3-2-3.탐색
____3-2-4.정렬
____3-2-5.선택
____3-2-6.삭제
____3-2-7.연산
____3-2-8.변형
____3-2-9.저장
__3-3.실습
____3-3-1.데이터수집
____3-3-2.데이터가공

4장.데이터시각화
__4-1.seaborn
____4-1-1.데이터셋
____4-1-2.산점도
____4-1-3.회귀선
____4-1-4.선그래프
____4-1-5.막대그래프
____4-1-6.박스그래프,바이올린플랏
____4-1-7.히스토그램
____4-1-8.히트맵
__4-2.matplotlib
____4-2-1.막대그래프그래기
____4-2-2.도화지설정하기
____4-2-3.자주마주하는문제
____4-2-4.seaborn과matplotlib함께사용하기
__4-3.데이터시각화실습
____4-3-1.국민건강보험공단건강검진정보

5장.데이터수집
___5-1.데이터수집방법이해하기
____5-1-1.크롤링을사용한데이터수집
____5-1-2.오픈API를사용한데이터수집
__5-2.requests
____5-2-1.requests패키지를사용하여서버에HTTPrequest보내기
____5-2-2.requests실습문제
__5-3.BeutifulSoup
____5-3-1.HTML문서
____5-3-2.beautifulsoup설치
____5-3-3.기본실습
____5-3-4.쇼핑몰
__5-4.selenium
____5-4-1.브라우저를동적으로제어하는코드작성
__5-5.정규식
____5-5-1.패턴을만드는방법에대한문법

부록A.데이터분석로드맵
__A-1.데이터분석로드맵
__A-2.FAQ

어떤독자를위한책인가?
-.(빅)데이터분석입문자(이제막파이썬입문서를떼고,기초적인파이썬을문법을익혔고,그다음학습과정을데이터분석으로잡은독자)
-.(빅)데이터분석입문자(처음파이썬을배우는파이썬입문자)

도서소개

[우대경력]

*데이터마이닝,머신러닝,딥러닝경험
*빅데이터분석플랫폼운영경험
*정형/비정형데이터수집기술경험
*데이터분석업무경험

요즘기업채용공고에서흔히볼수있는문구입니다.불과몇년전만해도소수전문가의영역이라고생각했던데이터분석기술이이제는교양필수과목처럼알아두면여기저기쓸모있는,제법대중화된기술이되었습니다.데이터분석은마케팅을하는A,영업을하는B,자동차를만드는C,쇼핑몰을운영하는D등남녀노소,직업을막론하고누구에게나필요한기술입니다.

〈공공빅데이터분석청년인재양성데이터전문교육과정〉공식교재!
행정안전부주최,한국지능정보사회진흥원주관,CSLEE컨소시엄에서시행한ICT분야청년일자리사업,〈공공빅데이터분석청년인재양성데이터전문교육과정〉교재입니다.이책으로데이터분석가(DataScientist)의꿈을이루세요.

일러두기

1.이책은탐색적데이터분석을위한‘파이썬프로그래밍입문서’입니다.
시중에는이미파이썬기본에대해설명해주는책,데이터분석이론을다룬책이많이출간되어있습니다.대부분의서적은파이썬에서제공하는많은내용에대해상세하게설명해주고있어서깊이있게내용을학습하기에는좋습니다.그러나,데이터분석과정을빠르게살펴보기위해서는그만큼시간투자가필요합니다.그래서이책을준비했습니다.이책은파이썬에서제공하는수많은기능중데이터분석에자주사용하는핵심기능을다루고있습니다.정확하게는본격적인데이터분석을진행하기에앞서데이터를수집,탐색하고정제하는‘탐색적데이터분석’과정에대해서설명합니다.그리고다양한실습예제를해결하면서탐색적데이터분석의전반적인과정을이해할수있도록구성했습니다.

2.이책은파이썬으로데이터분석을시작하려고하는독자에게최적화되었습니다.
이제막파이썬입문서를떼고,기초적인파이썬문법을익혔고,그다음학습과정을데이터분석으로잡은독자에게이책은최적화되었습니다.이책은여러분이지금까지배웠던기초파이썬을데이터분석에빠르게활용할수있게끔안내합니다.그렇기때문에데이터분석의깊이있는수치알고리즘,성능을고려한빅데이터처리알고리즘,고급pandas문법등을학습(고급활용)하려는독자에게는다소적합하지않습니다.

3.프로그래밍이처음이라면책의순서대로읽는것을권장합니다.
이책은파이썬기본문법(2장),데이터분석을위한전처리(3장:numpy,pandas),데이터탐색을위한시각화(4장:seaborn,matplotlib),데이터수집을위한크롤링(5장:requests,beautifulsoup,selenium)을순차척으로설명합니다.각장은이전장의내용을이해했다는것을전제로구성했기때문에,프로그래밍이처음이라면책의순서대로읽는것이이해하기수월합니다.


Chapter1
:개발환경을설치합니다.
Chapter2
:파이썬기본문법을배웁니다.영어에빗대어설명하자면2장에서는문장의5형식에해당하는기본표현을배우는것에해당합니다.
Chapter3
:기존에저장된데이터를불러와서수정하는다양한방법,데이터분석을위한전처리를배웁니다
Chapter4
:다양한그래프를그려서데이터의분포와경향을쉽게확인하기위한시각화방법을배웁니다.
Chapter5
:웹에있는html문서를크롤링하여데이터를수집하는방법을배웁니다.
부록
:데이터분석가로서,인공지능개발자로서,딥러닝개발자로서한발더나아가기위한가이드를알려드리고,저자가학생들을멘토링하면서자주질문받았던내용을FAQ로정리해서소개합니다.


4.파이썬이처음이아니라면3장부터읽어도좋습니다.
웹프로그래밍이나다른목적으로파이썬을사용한경험이있다면파이썬기본문법을다룬2장은빠르게넘겨도좋습니다.한편,파이썬이아닌다른프로그래밍언어의경험만있는경우라면2장도훑어보는것을권장합니다.파이썬은기존프로그래밍언어를쉽고간결하게만드는것을목적으로만들었기때문에Java나C언어와같이전통적으로많이사용하는프로그래밍언어가익숙한사용자는오히려간결한파이썬문법이어색하게느껴질수있습니다.아무리토종한국인이라도케바케,따아,답정너…같은줄임말을처음보면어색한것처럼요.그러니파이썬이다른언어의문법과어떻게다른지는확인해야합니다.

5.실습문제는꼭스스로해결해보세요.
프로그래밍언어는그야말로컴퓨터와사람이의사소통하는수단일뿐,정말필요한것은문제해결을위해로직을만들어내는것입니다.이책은이론에대한설명은최대한간결하게줄이고,실습을통해서문법을활용하도록구성하였습니다.처음이기때문에어렵고낯선것은당연합니다.그렇지만책에서제공하는솔루션을보기전에꼭어떻게로직을구성할지생각해보고코드를작성해본다면,훨씬더빠르게실력이쌓일것입니다