현장에서 바로써먹는 데이터 분석 with R

김임용

데이터로밥먹고산지10년이조금넘었습니다.대학에서산업공학을전공하고,철강회사에서통계를기반한데이터분석업무를수행하며생산성향상,품질부적합예방,원가절감등수익성개선을위한다양한업무를수행했습니다.이후오퍼레이션컨설팅회사로옮
겨타국에위치한국내대기업공장의수익성향상을위한컨설팅업무도경험했습니다.
이러한경험을바탕으로현재는발전공기업인한국동서발전에서인더스트리4.0전담조직인디지털기술융합원의데이터과학자로근무하고있습니다.다양한데이터분석방법론을실제현장에적용해문제를해결하고,새로운가치를창출하는업무를수행하고있습니다.뿐만아니라데이터기반의사결정문화확산을위해데이터분석강의및컨설팅업무도수행하고있습니다.세상에정답은없지만그나마데이터안에답이있다고믿으며오늘도쿼리를짜고,PT자료를만듭니다.

Chapter1데이터분석의이해

1데이터란?
1-1데이터의정의
1-2데이터→정보→지식→지혜
1-3빅데이터의등장
1-4빅데이터가만들어내는변화
1-5빅데이터의활용
1-6빅데이터와인공지능

2데이터분석이란?
2-1데이터과학?데이터분석?데이터마이닝?
2-2데이터분석가와데이터과학자
2-3도메인지식

3.데이터분석의발달과정
3-1통계학의등장
3-2사람들이통계를어려워하는이유
3-3컴퓨터의등장과인공지능
3-4인공지능,머신러닝그리고딥러닝

4데이터분석과정
4-1데이터분석의결과물
4-2데이터분석과정

5데이터분석가이드맵
[요약]
[연습문제]

Chapter2데이터분석을위한준비

1데이터수집
1-1데이터수집방법
1-2데이터베이스에서의데이터수집방법-SQL
1-3웹에서의데이터수집방법-웹크롤링
1-4API에서의데이터수집방법

2데이터셋준비시주의해야할점
2-1분석에적합한데이터형태
2-2이항데이터
2-3범주형데이터를수치화시키는방법-One-HotEncoding

3R&RStudio설치하기
3-1R이무엇인가요?
3-2R의특징
3-3R을배울까요?파이썬을배울까요?
3-4R설치하기(Windows기반)
3-5R설치하기(MacOS기반)
3-6RStudio설치하기(Windows기반)
3-7RStudio화면구성

4Studio새프로젝트만들기
4-1새프로젝트만들기
4-2프로젝트저장하기
4-3새소스탭추가하기
4-4소스파일불러오기

5패키지설치하기
5-1패키지란?
5-2패키지설치하기(인터넷연결환경)
5-3패키지설치하기(Off-Line환경)
[요약]
[연습문제]

Chapter3데이터다루기

1R문법에대한이해
1-1R문법체계
1-2변수
1-3주석사용하기
1-4도움말및예제불러오기

2데이터프레임다루기
2-1데이터프레임이란?
2-2데이터프레임다루기
2-3나머지데이터타입

3.데이터정제
3-1결측치(NA)
3-2이상치(Outlier)
3-3스케일링(Scaling)
[요약]
[연습문제]

Chapter4통계분석과기본그래프

1어제까지몇마리의병아리가부화했을까?(기초통계량)
1-1데이터불러오기
1-2데이터확인하기
1-3기초통계량구하기
1-4데이터정렬하기
1-5막대그래프그려보기
1-6그래프색상바꿔보기
1-7그래프위에텍스트추가하기
1-8그래프위에선추가하기
1-9파이차트그려보기

2부화한병아리들의체중은얼마일까?(정규분포와중심극한정리)
2-1데이터불러와서구조와유형확인하기
2-2통계량으로분포확인하기
2-3히스토그램으로분포확인하기
2-4상자그림으로분포확인하기
2-5다중그래프로분포확인하기

3사료제조사별성능차이가있을까?(가설검정)
3-1데이터불러와서확인하기
3-2상자그림으로분포비교하기
3-3정규분포인지검정하기
3-4t-test로두집단간평균검정하기
[요약]
[연습문제]

Chapter5상관분석과회귀분석
1병아리의성장에영향을미치는인자는무엇일까?(상관분석)
1-1상관분석이란?
1-2데이터불러와서확인하기
1-3상관분석을위한별도데이터셋만들기
1-4상관분석실시
1-5상관분석결과표현하기

2병아리의체중을예측할수있을까?(회귀분석)
2-1회귀분석이란?
2-2단순선형회귀분석
2-3다중회귀분석
2-4다중공선성
2-5비선형회귀분석
[요약]
[연습문제]

Chapter6분류및군집분석
1병아리의성별을구분할수있을까?(로지스틱회귀)
1-1로지스틱회귀란?
1-2데이터불러와서확인하기
1-3로지스틱회귀분석
1-4분류알고리즘의성능평가방법
1-5로지스틱회귀모델의성능평가
2병아리의품종을구분할수있을까?(분류알고리즘)
2-1다양한분류알고리즘
2-2나이브베이즈분류
2-3k-최근접이웃
2-4의사결정나무
2-5배깅
2-6부스팅
2-7랜덤포레스트
2-8서포트벡터머신
2-9XGBoost와하이퍼파라미터튜닝
2-10분류알고리즘결과정리

3효과적인사육을위해사육환경을분리해보자!(군집알고리즘)
3-1군집알고리즘
3-2k-평균군집알고리즘
[요약]
[연습문제]

Chapter7인공신경망과딥러닝

1성장한닭의체중을예측할수있을까?(회귀)
1-1인공신경망이란?
1-2데이터확인및분할하기
1-3상관계수확인및간단한신경망구현
1-4회귀모델의성능평가
1-5딥러닝이란?
1-6H2O활용딥러닝구현(회귀)

2딥러닝을이용해병아리품종을다시구분해보자!(분류)
2-1Keras활용딥러닝구현(분류)
2-2과적합을줄이는방법(드롭아웃)
[요약]
[연습문제]

Chapter8텍스트마이닝
1고객리뷰에서어떻게핵심을파악할수있을까?(워드클라우드)
1-1워드클라우드란?
1-2Rtools설치하기
1-3패키지설치하기
1-4세종사전및데이터불러오기
1-5텍스트데이터가공하기

2고객들은정말로만족했을까?(감성분석)
2-1감성분석이란?
2-2감성사전준비
2-3데이터가공3
2-4감성분석
2-5결과시각화
[요약]
[연습문제]

Chapter9참고할만한내용들
1데이터베이스연결및SQL사용법
1-1데이터베이스연결방법
1-2데이터베이스테이블의데이터조회(Select)
1-3데이터베이스테이블의데이터입력(Insert)
1-4데이터베이스테이블의데이터삭제(Delete)

2비대칭데이터
2-1비대칭데이터란?
2-2언더샘플링
2-3오버샘플링

3차원축소와주성분분석(PCA)
3-1차원축소란?
3-2주성분분석(PCA)

4데이터재구조화(Melt&Cast)
4-1데이터재구조화
4-2열을행으로변환(Melt)
4-3행을열로변환(Cast)

5학습을위한대표적인데이터셋소개
5-1R내장데이터셋
5-2MNIST
5-3학습용데이터셋취득

6데이터분석학습사이트소개
6-1생활코딩
6-2데이터사이언스스쿨
6-3코세라
6-4캐글
연습문제정답