스파크를 이용한 자연어 처리 (대규모 텍스트를 다루는 가장 효율적인 딥러닝을 만나다)

앨릭스토머스

AlexThomas
와이즈큐브(Wisecube)의데이터과학자다.자연어처리와머신러닝에임상데이터,신원데이터,고용주및구직자데이터를비롯해현재는생화학데이터까지사용하고있다.아파치스파크0.9버전부터UIMA와OpenNLP를포함한NLP라이브러리와프레임워크로작업해왔다.

[PARTI기초]

CHAPTER1시작하기
1.1SparkNLP와자연어처리
1.2기타도구
1.3환경설정
1.4아파치스파크에익숙해지기
1.5SparkNLP를사용한HelloWorld

CHAPTER2자연어처리기초
2.1자연어처리정의
2.2언어학
2.3사회언어학
2.4화용론
2.5문자
2.6인코딩
2.7연습문제:토큰화
2.8참고자료

CHAPTER3아파치스파크의NLP라이브러리
3.1병렬처리,동시성과분산컴퓨팅
3.2아파치스파크의아키텍처
3.3스파크SQL과SparkMLlib
3.4NLP라이브러리
3.5SparkNLP
3.6연습문제:토픽모델구축
3.7참고자료

CHAPTER4딥러닝기초
4.1경사하강법
4.2역전파
4.3합성곱신경망
4.4순환신경망
4.5연습문제1
4.6연습문제2
4.7참고자료

[PARTII빌딩블록]

CHAPTER5단어처리
5.1토큰화
5.2어휘감소
5.3단어가방
5.4CountVectorizer
5.5n-gram
5.6시각화:단어및문서분산
5.7연습문제
5.8참고자료

CHAPTER6정보검색
6.1역인덱스
6.2벡터공간모델
6.3연습문제
6.4참고자료

CHAPTER7분류와회귀
7.1BoW기능
7.2정규식특성
7.3특성선택
7.4모델링
7.5반복
7.6연습문제

CHAPTER8케라스를사용한시퀀스모델링
8.1문장분할
8.2섹션분할
8.3품사태깅
8.4조건부무작위장
8.5청킹및구문분석
8.6언어모델
8.7순환신경망
8.8연습문제:문자n-gram
8.9연습문제:단어언어모델
8.10참고자료

CHAPTER9정보추출
9.1개체명인식
9.2상호참조해결
9.3어서션상태감지
9.4관계추출
9.5마치며
9.6연습문제

CHAPTER10주제모델링
10.1k-평균
10.2잠재의미분석
10.3음수미포함행렬분해
10.4잠재디리클레할당
10.5연습문제

CHAPTER11단어임베딩
11.1Word2Vec
11.2글로브
11.3패스트텍스트
11.4변환자
11.5ELMo,BERT와XLNet
11.6doc2vec
11.7연습문제

[PARTIII애플리케이션]

CHAPTER12감성분석과감지
12.1문제진술과제약
12.2프로젝트계획
12.3솔루션설계
12.4솔루션구현
12.5솔루션테스트와측정
12.6검토
12.7마치며

CHAPTER13지식베이스구축
13.1문제진술과제약
13.2프로젝트계획
13.3솔루션설계
13.4솔루션구현
13.5솔루션테스트와측정
13.6검토
13.7마치며

CHAPTER14검색엔진
14.1문제진술과제약조건
14.2프로젝트계획
14.3솔루션설계
14.4솔루션구현
14.5솔루션테스트및측정
14.6검토
14.7마치며

CHAPTER15챗봇
15.1문제진술및제약
15.2프로젝트계획
15.3솔루션설계
15.4솔루션구현
15.5솔루션테스트및측정
15.6검토
15.7마치며

CHAPTER16객체문자인식
16.1OCR작업의종류
16.2문제진술및제약
16.3프로젝트계획
16.4솔루션구현
16.5솔루션테스트및측정
16.6모델중심지표
16.7검토
16.8마치며

[PARTIVNLP시스템구축]

CHAPTER17다국어지원
17.1언어유형
17.2시나리오:학술논문분류
17.3다양한언어의텍스트처리
17.4전이학습과다국어딥러닝
17.5언어간검색
17.6체크리스트
17.7마치며

CHAPTER18수동레이블링
18.1가이드라인
18.2시나리오:학술논문분류
18.3레이블러간동의
18.4반복레이블링
18.5텍스트레이블링
18.6체크리스트
18.7마치며

CHAPTER19NLP애플리케이션제작
19.1SparkNLP모델캐시
19.2SparkNLP와텐서플로통합
19.3체크리스트
19.4마치며

언어학자,데이터과학자,소프트웨어개발자의눈으로구현하는자연어처리애플리케이션

자연어처리는사람과기계를소통할수있게만드는기술입니다.최근에는의료산업,기계번역,작문,챗봇과같이데이터를분석해서비스를제공하는애플리케이션의개발과기술도입이활발하게확대되고있습니다.자연어처리기술을쉽게구현하도록돕는라이브러리중하나인SparkNLP는아파치스파크기반으로정확성과확장가능성,빠른속도를자랑합니다.

그러나애플리케이션을만들기전에유념해야할부분은우리가다룰데이터(텍스트,이미지,영상,음성)가컴퓨터를염두에두고만들어지지않았다는점입니다.이책에서는이런데이터를잘분석하고처리하기위해서언어학,데이터과학,소프트웨어공학측면에서이를살펴봐야한다는새로운관점을제시합니다.애플리케이션을구현하기전,언어학자가되어추출하려는데이터의내용에초점을맞춰살펴보고,데이터과학자가되어데이터에서필요한정보를추출하는방법을고민하고,소프트웨어개발자가되어애플리케이션이수행해야할작업에초점을맞춰접근하는방법을알아봅니다.

세가지관점으로구현하려는애플리케이션과데이터를바라보면NLP애플리케이션을효율적으로개발할수있고,사용자에게더유용한애플리케이션을제공할수있습니다.이책에서SparkNLP사용법과NLP애플리케이션을현명하게구현하는방법을배워자연어처리전문가가되어봅시다.
주요내용
● 자연어처리와SparkNLP,딥러닝기초를설명합니다.
● 토큰화,문장분할,개체명인식방법을살펴보고각각의작동방식을이해합니다.
● 자신만의NLP애플리케이션구축에필요한설계,개발,실험과정을차례대로살펴봅니다.
● NLP애플리케이션제작과배포시고려해야할중요한항목을알아봅니다.