파이썬 웹 스크레이핑 완벽 가이드 (파이썬 기초문법부터 스트림릿을 이용한 웹 앱 제작과 카카오 API 활용까지)

최은석

광주과학기술원(GIST)에서박사학위를받고삼성전자에서센서기반인터랙션설계,센서신호및영상처리,로봇제어,임베디드시스템소프트웨어관련업무를하고있다.항상좀더좋은방법이없을까고민하며새로운아이디어를제시하고구현하는과정을즐긴다.파이썬을이용한업무자동화,데이터처리및분석,마이크로컨트롤러응용에관심이많으며주변사람들에게파이썬의편리함을알리고있다.저서로『데이터분석을위한파이썬철저입문』과『일잘하는직장인을위한엑셀자동화with파이썬』이있다.

▣01장:준비하기
1.1파이썬시작하기
___1.1.1파이썬의특징
___1.1.2파이썬개발환경설치
___1.1.3파이썬실행하기
1.2주피터노트북활용
___1.2.1주피터노트북실행과노트북생성
___1.2.2주피터노트북주요기능둘러보기
___1.2.3주피터노트북에서코드작성
___1.2.4주피터노트북에서문서작성
___1.2.5그밖에할수있는작업
1.3정리

▣02장:파이썬기본문법
2.1변수와자료형
___2.1.1변수
___2.1.2숫자(int,float)
___2.1.3문자열(str)
___2.1.4불(bool)
___2.1.5리스트(list)
___2.1.6튜플(tuple)
___2.1.7세트(set)
___2.1.8딕셔너리(dict)
2.2제어문
___2.2.1조건문
___2.2.2반복문
2.3데이터의출력
___2.3.1기본출력
___2.3.2형식지정출력
2.4예외처리
___2.4.1try~except사용
___2.4.2try~finally사용
2.5정리

▣03장:함수,클래스,모듈
3.1함수
___3.1.1함수의정의와호출
___3.1.2내장함수
3.2클래스
___3.2.1클래스와객체
___3.2.2클래스선언
___3.2.3객체생성과활용
3.3모듈
___3.3.1모듈만들고불러오기
___3.3.2내장모듈
___3.3.3패키지
___3.3.4스케줄러패키지
3.4정리

▣04장:파일읽고쓰기와문자열처리
4.1파일읽고쓰기
___4.1.1파일읽고쓰기위한기본구조
___4.1.2파일읽기
___4.1.3파일을한줄씩읽어처리하기
___4.1.4파일쓰기
___4.1.5with문으로파일읽고쓰기
4.2문자열처리
___4.2.1문자열분리하기:split()
___4.2.2불필요한문자열삭제하기:strip()
___4.2.3문자열연결하기:join()
___4.2.4문자열찾기:find(),count(),startswith(),endswith()
___4.2.5문자열바꾸기:replace()
___4.2.6대소문자변경하기:lower(),upper()
4.3정리

▣05장:데이터처리와분석을위한라이브러리
5.1배열데이터연산에효율적인넘파이(NumPy)
___5.1.1배열데이터생성
___5.1.2배열데이터선택
5.2표데이터처리에강한판다스(pandas)
___5.2.1데이터구조와생성
___5.2.2표형식의데이터파일읽고쓰기
___5.2.3표데이터선택
___5.2.4표데이터통합
5.3정리

▣06장:웹스크레이핑
6.1웹스크레이핑을위한기본지식
___6.1.1웹스크레이핑의과정
___6.1.2웹스크레이핑시주의사항
___6.1.3웹데이터의요청과응답과정
___6.1.4웹페이지언어(HTML)구조
___6.1.5웹페이지의소스가져오기
___6.1.6웹페이지의소스분석하고처리하기
___6.1.7웹사이트주소에부가정보추가하기
6.2웹사이트에서데이터가져오기
___6.2.1날씨정보가져오기
___6.2.2주식정보가져오기
___6.2.3환율정보가져오기
___6.2.4부동산정보가져오기
___6.2.5웹페이지에서이미지가져오기
6.3정리

▣07장:셀레니움을이용한웹스크레이핑
7.1셀레니움소개및설치
7.2셀레니움으로웹브라우저제어
___7.2.1웹사이트접속
___7.2.2HTML코드에서요소찾기
___7.2.3검색창에문자열입력하기
___7.2.4웹사이트로그인자동화
___7.2.5웹브라우저스크롤
___7.2.6웹브라우저내용을이미지파일로저장
___7.2.7헤드리스(Headless)웹브라우저이용하기
7.3동적웹페이지에서데이터가져오기
___7.3.1커피전문점음료메뉴가져오기
___7.3.2가상화폐거래정보가져오기
___7.3.3유튜브검색결과가져오기
7.4정리

▣08장:웹API
8.1웹API의이해
___8.1.1웹API의데이터획득과정
___8.1.2웹API의인증방식
___8.1.3응답데이터의형식및처리
8.2API키없이시간관련데이터가져오기
___8.2.1시간대리스트와현재시각데이터가져오기
___8.2.2시간대변환데이터가져오기
8.3RSS피드데이터가져오기
___8.3.1RSS문서의구조및데이터추출
___8.3.2구글뉴스의검색기사가져오기
8.4스포티파이를이용한노래데이터가져오기
___8.4.1앱만들고액세스토큰생성
___8.4.2아티스트API로아티스트관련정보가져오기
___8.4.3트랙API로곡관련정보가져오기
___8.4.4앨범API로앨범관련정보가져오기
8.5야후파이낸스에서주식데이터가져오기
___8.5.1설치및기본사용법
___8.5.2미국주식데이터가져오기
___8.5.3국내주식데이터가져오기
___8.5.4여러주식데이터가져오기
8.6정리

▣09장:스트림릿으로웹앱(WebApp)만들기
9.1스트림릿둘러보기
___9.1.1데모웹앱으로스트림릿맛보기
___9.1.2웹앱을위한코드실행방법
9.2스트림릿기본사용법
___9.2.1텍스트요소
___9.2.2데이터표시요소
___9.2.3차트요소
___9.2.4만능함수와마술명령어
___9.2.5입력위젯
___9.2.6미디어요소
___9.2.7레이아웃과컨테이너
9.3스트림릿을활용해웹앱만들기
___9.3.1주식데이터대시보드
___9.3.2환율데이터대시보드
___9.3.3부동산데이터대시보드
___9.3.4구글뉴스에서기사검색
___9.3.5멀티페이지웹앱
___9.3.6스트림릿클라우드에웹앱배포
9.4정리

▣10장:카카오API
10.1카카오API를이용한웹문서와이미지검색
___10.1.1카카오디벨로퍼스회원가입및애플리케이션등록
___10.1.2웹문서검색
___10.1.3이미지검색
10.2카카오API를이용한카카오톡메시지전송
___10.2.1카카오로그인관련설정
___10.2.2액세스토큰생성
___10.2.3카카오톡메시지보내기
10.3웹스크레이핑결과를카카오톡으로보내기
___10.3.1날씨정보보내기
___10.3.2환율정보보내기
___10.3.3가상화폐정보보내기
___10.3.4주식정보보내기
___10.3.5스케줄에따라카카오톡메시지보내기
10.4정리