파이썬으로 배우는 웹 크롤러 (파이썬 코드 조각으로 데이터 모으기)

박정태

수업시간에우연히들은크롤러매력에빠져창업하고휴학한후패션데이터수집을위한쇼핑몰크롤러와크롤러프레임워크를개발하였다.재미난것을만들고싶어서다양한스타트업에서교육자료공유플랫폼,화장품추천서비스개발을맡아진행하였다.코딩애플에서파이썬으로크롤러만들기,node.js로쇼핑몰만들기강사로활동중이며,(주)francosy에서웹-서버개발과데이터처리및분석을담당하고있다.현재는챗봇과블록체인기술에관심이많아크롤러를활용하여로우데이터수집과기술연구를하고있다.

지금도계속재미있는것들을하려고노력중이다.

블로그blog.naver.com/pjt3591oo
프로필stackoverflow.com/story/mung

1단계준비
PART1…크롤러
1.크롤러란무엇인가?
2.크롤러를만들기위해필요한지식
3.크롤러를만들어야하는이유

PART2…서버와클라이언트
1.클라이언트
2.서버
3.서버와클라이언트의데이터를주고받는방법
4.URL
5.정리

PART3…웹을구성하고있는요소
1.웹
2.HTML
3.CSS
4.JavaScript
5.웹렌더링의원리

PART4…파이썬기초문법
1.파이썬을사용하는이유
2.파이썬코드작성,실행방법
3.변수
4.데이터타입
5.연산자
6.조건분기
7.반복문

PART5…파이썬중급문법
1.함수
2.클래스
3.모듈
4.예외처리

2단계데이터수집
PART6…크롤링할때필요한라이브러리
1.어떤모듈을사용할까?
2.요청모듈
3.파싱모듈
4.웹테스팅모듈
5.정리

PART7…bs4
1.파서의차이
2.bs4사용
3.정규식을활용한bs4고급스킬
4.크롤러만들기
5.정리

PART8…가상돔을활용한크롤러
1.돔접근
2.웹제어하기
3.selenium과bs4의조합
4.selenium활용

3단계데이터활용
PART9…데이터가지고놀기
1.로그
2.슬랙
3.파일다루기

PART10…다양한분야에서활용하는파이썬
1.서버
2.머신러닝
3.그래프그려보기
4.정리

파이썬코드조각으로데이터모으기
파이썬을활용하여크롤러시스템구축하기

시간이지날수록데이터는점점더많아질것이고,데이터의중요도는올라갈것이다.우리는하루에도수많은데이터를스쳐지나간다.이러한데이터들을수집및활용하고객관적으로판단하는것은매우중요해졌다.이렇게생성된데이터는더이상직접수집하기가거의불가능하다고본다.

이책은데이터를수집하기위한준비부터활용하는방법까지소개하고있다.1단계준비,2단계데이터수집,3단계데이터활용단계로구성되어있다.준비단계에서는파이썬기초문법과웹에대한내용을다룬다.데이터수집단계에서는파이썬을활용하여크롤러를만드는단계이다.활용단계는데이터를저장하고그래프를그리고머신러닝프레임워크를활용하여데이터처리를하는방법을다룬다.

입문자도쉽게익힐수있는파이썬으로웹크롤러만들기

크롤러는인터넷을돌아다니며데이터를수집하는프로그램이다.크롤러를만드는데다양한개념이필요한이유는크롤러가웹에대해상당히의존적이기때문이다.크롤러라는것은우리가수집하고자하는사이트에따라만드는방식이달라지므로기본개념을잘잡고크롤러를만드는것이중요하다.

이책에서는파이썬을모르는입문자부터파이썬으로무엇을해야할지모르는학습자가읽기좋은책이다.데이터를수집하는크롤러에대한내용을주로설명하고있으며,데이터처리및분석방법,파이썬으로서버를만드는방법을소개한다.

책을읽고웹서핑을하다보면웹페이지말고URL창이먼저보일것이다.그리고‘이데이터를수집하려면이렇게요청을하면되겠구나!’라고생각할것이다.그러다가끔‘어!이사이트구조가좀이상한데?’라면서해당사이트의구조를분석하고있는자신을발견할것이다.또한본문에서활용한예제는정보문화사홈페이지(http://www.infopub.co.kr)자료실에서다운로드하여직접연습해볼수있다.