데이터 분석 with 파이썬

김임용

데이터로밥먹고산지10년이조금넘었습니다.대학에서산업공학을전공하고,철강회사에서통계를기반한데이터분석업무를담당하며생산성향상,품질부적합예방,원가절감등수익성개선을위한다양한업무를수행했습니다.이후오퍼레이션컨설팅회사로옮
겨타국에위치한국내대기업공장의수익성향상을위한컨설팅업무도경험했습니다.
이러한경험을바탕으로현재는발전공기업인한국동서발전에서4차산업기술을현장에접목시키고,연구개발을전담하는조직인미래기술융합원의데이터과학자로근무하고있습니다.다양한데이터분석방법론을실제현장에적용해문제를해결하고,새로운가치를창출하는업무를수행하고있습니다.뿐만아니라데이터기반의사결정문화확산을위해데이터분석강의및컨설팅업무도함께하고있습니다.

Chapter1데이터분석의이해
1데이터란?
1-1데이터의정의
1-2데이터→정보→지식→지혜
1-3빅데이터의등장
1-4빅데이터가만들어내는변화
1-5빅데이터의활용
1-6빅데이터와인공지능
2데이터분석이란?
2-1데이터과학?데이터분석?데이터마이닝?
2-2데이터분석가와데이터과학자
2-3도메인지식
3.데이터분석의발달과정
3-1통계학의등장
3-2사람들이통계를어려워하는이유
3-3컴퓨터의등장과인공지능
3-4인공지능,머신러닝그리고딥러닝
4.데이터분석과정
4-1데이터분석의결과물
4-2데이터분석과정
5.데이터분석가이드맵
[핵심요약]
[연습문제]

Chapter2.데이터분석을위한준비
1.데이터수집
1-1데이터수집방법
1-2데이터베이스에서의데이터수집방법-SQL
1-3웹에서의데이터수집방법-웹크롤링
1-4API에서의데이터수집방법
2.데이터셋준비시주의해야할점
2-1분석에적합한데이터형태
2-2이항데이터
2-3범주형데이터를수치화시키는방법-One-HotEncoding
3.아나콘다설치하기
3-1파이썬이란?
3-2파이썬의특징
3-3파이썬을배울까요?R을배울까요?
3-4아나콘다설치하기(Windows기반)
4.주피터노트북
4-1주피터노트북이란?
4-2기본사용법
4-3주석과마크다운
4-4메뉴별주요기능
5.패키지설치하기
5-1패키지란?
5-2패키지설치하기-인터넷연결환경
5-3패키지설치하기-Off-Line환경
5-4패키지사용하기
6.구글코랩
[핵심요약]
[연습문제]

CHAPTER3데이터다루기
1.파이썬문법에대한이해
1-1파이썬문법체계
1-2변수
1-3함수
1-4조건문
1-5반복문
1-6자료형
2.pandas의데이터프레임
2-1데이터프레임이란?
2-2데이터프레임다루기
3.numpy의다차원배열
3-1다차원배열이란?
3-2다차원배열다루기
4.데이터정제
4-1결측치(NaN)
4-2이상치(Outlier)
4-3스케일링(Scaling)
[핵심요약]
[연습문제]
본격적인실습에앞서

chapter4통계분석과기본그래프
1.어제까지몇마리의병아리가부화했을까?(기초통계량)
1-1데이터불러오기
1-2데이터확인하기
1-3기초통계량구하기
1-4데이터정렬하기
1-5막대그래프그려보기
1-6한글폰트지정및그래프색상바꿔보기
1-7그래프위에텍스트추가하기
1-8그래프위에선추가하기
1-9파이차트그려보기
2.부화한병아리들의몸무게는얼마일까?(정규분포와중심극한정리)
2-1데이터불러와서구조와유형확인하기
2-2통계량으로분포확인하기
2-3히스토그램으로분포확인하기
2-4상자그림으로분포확인하기
2-5다중그래프로분포확인하기
3.사료제조사별성능차이가있을까?(가설검정)
3-1데이터불러와서확인하기
3-2상자그림으로분포비교하기
3-3정규분포인지검정하기
3-4t-test로두집단간평균검정하기
[핵심요약]
[연습문제]

chapter5상관분석과회귀분석
1.병아리의성장에영향을미치는인자는무엇일까?(상관분석)
1-1상관분석이란?
1-2데이터불러와서확인하기
1-3상관분석을위한별도데이터셋만들기
1-4상관분석실시
1-5상관분석결과표현하기
2.병아리의몸무게를예측할수있을까?(회귀분석)
2-1회귀분석이란?
2-2단순선형회귀분석
2-3다중회귀분석
2-4다중공선성
2-5비선형회귀분석
[핵심요약]
[연습문제]

chapter6분류및군집분석
1.병아리의성별을구분할수있을까?(로지스틱회귀)
1-1로지스틱회귀란?
1-2데이터불러와서확인하기
1-3로지스틱회귀분석
1-4분류알고리즘의성능평가방법
1-5로지스틱회귀모델의성능평가
2.병아리의품종을구분할수있을까?(분류알고리즘)
2-1다양한분류알고리즘
2-2나이브베이즈분류
2-3k-최근접이웃
2-4의사결정나무
2-5배깅
2-6부스팅
2-7랜덤포레스트
2-8서포트벡터머신
2-9XGBoost와하이퍼파라미터튜닝
2-10분류알고리즘결과정리
3.효과적인사육을위해사육환경을분리해보자!(군집알고리즘)
3-1군집알고리즘
3-2k-평균군집
[핵심요약]
[연습문제]

chapter7인공신경망과딥러닝
1.성장한닭의몸무게를예측할수있을까?(회귀)
1-1인공신경망이란?
1-2데이터및상관관계확인
1-3데이터분할
1-4신경망구현
1-5회귀모델의성능평가
1-6딥러닝이란?
1-7H2O활용딥러닝구현(회귀)
2.딥러닝을이용해병아리품종을다시구분해보자!(분류)
2-1Keras활용딥러닝구현(분류)
2-2과적합을줄이는방법(드롭아웃)
[핵심요약]
[연습문제]

chapter8텍스트마이닝
1.고객리뷰에서어떻게핵심을파악할수있을까?(워드클라우드)
1-1워드클라우드란?
1-2JDK설치하기
1-3패키지설치하기
1-4텍스트데이터가공하기
1-5워드클라우드그리기
2.고객들은정말로만족했을까?(감성분석)
2-1감성분석이란?
2-2감성사전준비
2-3텍스트데이터가공하기
2-4감성분석
2-5결과시각화
[핵심요약]
[연습문제]

chapter9참고할만한내용들
1.데이터베이스연결및SQL사용법
1-1데이터베이스연결방법
1-2데이터베이스테이블의데이터조회(Select)
1-3데이터베이스테이블의데이터입력(Insert)
1-4데이터베이스테이블의데이터삭제(Delete)
2.비대칭데이터
2-1비대칭데이터란?
2-2언더샘플링
2-3오버샘플링
3.차원축소와주성분분석(PCA)
3-1차원축소란?
3-2주성분분석(PCA)
4.데이터프레임집계및병합
4-1데이터프레임집계
4-2데이터프레임병합
5.학습을위한대표적인데이터셋소개
5-1패키지내장데이터셋
5-2학습용데이터셋취득
6.데이터분석학습사이트소개
6-1생활코딩
6-2데이터사이언스스쿨
6-3코세라
6-4캐글
연습문제정답