고객 니즈가 보이는 데이터 분석 with 파이썬 : 트렌드 분석자가 알려주는 실무 데이터 분석!

정인근

저자:정인근
아모레퍼시픽에서AI서비스프로토타입개발과자연어처리분야에서꾸준히경력을쌓아온AI개발자이다.현재는와디즈에서근무중이며GPT를활용해서비스를개선하고새로운서비스를출시하는데집중하고있다.복잡한문제를단순한알고리즘으로처리하는것을선호하며,정교함보다는간결한원칙에서더우수한분석결과를도출한다고믿는다.

1장자연어분석준비
1.1실습환경준비
1.1.1konlpy설치
1.1.2주피터노트북설치
1.1.3주피터노트북사용법익히기
1.1.4분석에필요한라이브러리설치

1.2파이썬
1.2.1변수와데이터타입
1.2.2자료구조
1.2.3조건문
1.2.4반복문
1.2.5함수
1.2.6변수범위

1.3판다스
1.3.1데이터프레임생성
1.3.2데이터프레임형태조절
1.3.3데이터추출
1.3.4논리연산자
1.3.5데이터요약
1.3.6결측치처리
1.3.7열생성
1.3.8데이터그룹화
1.3.9데이터병합

1.4경기도인구데이터분석

1.5국민건강보험공단진료내역정보전처리
1.5.1설정및데이터가져오기
1.5.2데이터연결및필요한열만추출
1.5.3다른데이터와데이터합치기1
1.5.4다른데이터와데이터합치기2
1.5.5함수를사용한데이터처리

2장스크래퍼로데이터수집
2.1스크래퍼란

2.2스크래퍼첫걸음
2.2.1클라이언트와서버의개념
2.2.2알아야할HTML기초지식
2.2.3HTML파일생성
2.2.4간단한스크래퍼만들기

2.3requests라이브러리를활용한커뮤니티정보수집
2.3.1스크래퍼제작첫단계는URL찾기부터
2.3.2HTML수집과파싱
2.3.3정보수집하기
2.3.4데이터전처리:정규표현식
2.3.5결과저장

2.4무엇이든수집하는selenium라이브러리
2.4.1가상웹브라우저사용준비
2.4.2양질의정보가있는네이버카페
2.4.3생생한고객의견을들을수있는쇼핑몰리뷰수집

3장수집한데이터로자연어분석
3.1내가그편의점만가는이유
3.1.1커뮤니티데이터불러오기
3.1.2데이터전처리1:정규표현식
3.1.3데이터전처리2:형태소분석
3.1.4데이터분석1:많이등장한단어를찾아주는다빈도단어분석
3.1.5데이터분석2:자주등장하는짝꿍단어를찾아주는nGram분석
3.1.6데이터분석3:편의점주력제품찾기
3.1.7데이터분석4:TFIDF로편의점주요키워드찾기
3.1.8편의점에는어떤제품이반응이좋을까요:결과1차정리

3.2어떤떡볶이가맛있을까?
3.2.1데이터불러오기:쇼핑몰데이터
3.2.2데이터전처리:가중치구하기
3.2.3데이터분석:자주등장하는떡볶이해시태그찾기
3.2.4데이터불러오기:떡볶이제품리뷰데이터
3.2.5데이터전처리:정규표현식
3.2.6데이터전처리:형태소분석
3.2.7데이터분석:다빈도표현분석
3.2.8데이터분석:떡볶이소비환경분석
3.2.9어떤떡볶이를기획하면좋을까?

3.32040여성들의건강고민살피기
3.3.1데이터불러오기:여성건강커뮤니티데이터
3.3.2데이터분석:게시물날짜정보구하기
3.3.3데이터분석:포스팅랭킹구하기
3.3.4데이터분석:주요주제찾기
3.3.5형태소분석:명사추출
3.3.6데이터불러오기:트위터
3.3.7데이터전처리:맞춤법교정
3.3.8데이터전처리:명사추출
3.3.9데이터분석:nGram
3.3.10국민건강보험공단에서제공하는진료내역정보데이터분석
3.3.112040여성에게어떤건강서비스를제공하면좋을까?

3.4내여자친구최애쿠션찾아주기
3.4.1데이터가져오기
3.4.2제품기본정보데이터전처리
3.4.3해시태그전처리
3.4.4해시태그분석으로제품트렌드변화관찰
3.4.5Rank()함수로해시태그에가중치더하기
3.4.6해시태그빈도및기울기구하기
3.4.7주요제품열개찾아보기
3.4.8리뷰데이터불러오기
3.4.9형태소분석을이용하여리뷰에서의도찾기
3.4.10nGram으로키워드파악
3.4.11표현의숨겨진의미찾기
3.4.12머신러닝을활용하여중요한내용찾기
3.4.13쿠션에어떤기능을강화하면좋을까?

3.5자연어분석심화편
3.5.1편의점데이터분석:유튜브댓글데이터불러오기
3.5.2데이터전처리1:필요한데이터만남기는데이터압축방법
3.5.3데이터전처리2:형태소분석
3.5.4데이터분석1:다빈도단어
3.5.5데이터분석2:nGram
3.5.6토픽모델링
3.5.7데이터전처리:LDA로계산할데이터준비
3.5.8데이터분석:LDA로유튜브에서보이는편의점토픽살펴보기
3.5.9편의점제품과서비스제안

4장자연어분석에필요한통계공부
4.1자주사용되는통계개념

부록AGPT-3.5로자연어분석하기
부록B코랩시작하기
부록CGPU사용설정하기

유튜브,네이버카페,트위터등
유의미한데이터에서찾아내는고객니즈와시장트렌드!

요즘은기술의발전으로소비자의정보를담고있는플랫폼이많아지면서과거처럼정형화된데이터보다는텍스트나이미지같은비정형화된데이터가주를이루고있다.또한,그만큼개인의취향과소비성향,기호등이더욱세분화되었고,과거에는큼직한트렌드만파악했다면이제는소비자가정말원하는것이무엇인지를세부적으로파악하는것이중요해졌다.즉,소비자가가감없이표출한데이터를수집하고,수집한데이터속에서가치있는정보만가려내비즈니스에활용하는역량이필요해졌다는것이다.

이책은유튜브,네이버카페,트위터등소비자의정보가가장많이쌓이는곳에서데이터를수집하고분석하는방법을설명한다.파이썬문법과판다스,넘파이등데이터를분석하는데필요한최소한의개념들만설명하기때문에실무자뿐만아니라관련산업종사자누구든학습할수있다.또한,기술에만그치지않고데이터를분석한후에얻은정보로어떤제품이나서비스를기획할수있을지현업전문가의의견을엿볼수있는코너까지넣었다.수포자도이해하기쉽게설명한통계개념까지마지막장에따로담았으므로수학적개념이부족하다면함께학습할수도있다.소비자의행동양식,트렌드를파악하고이를비즈니스에활용하고싶은모든사람에게추천한다.

책속에서

데이터분석을잘하려면어떻게해야할까요?어떤노력을해야할까요?필자가자주듣는질문입니다.제가찾은해답을바로이책에담았습니다.많은데이터분석예제를다루기보다는분석자가적극적으로참여할수있는그런주제를선정했습니다.예를들어책속의예제인‘어떤떡볶이를기획할까?’주제는이런노력의일환입니다.대부분좋아하는국민간식을다루면서어떤떡볶이신제품을내놓는게좋을지독자가고민하게끔만들고싶었습니다.왜냐하면누구나떡볶이신제품에대해쉽게제안을할수있고,고민을할수있기때문입니다.게다가데이터분석결과는분석자의고민에비례하기때문에데이터분석결과가옳은지보다어떤관점에서결과를바라볼수있을지에맞춰집필했습니다.이책을읽고나서독자분들이'저자와달리나는이런신제품으로제안하는게맞는것같다'고생각해준다면그것이바로제가원하던결과입니다.자신만의관점과이관점을지지하는분석과정을찾기를바랍니다.이책은이과정을체험할수있게구성되어있습니다.-정인근
---「본문」중에서