베이지안으로 접근하는 자연어 처리 (베이지안 통계 개념과 추론 기법, 모델링을 이용한 활용 분석까지 | 2022년도 대한민국학술원 선정 교육부 우수학술도서 | 2 판)

베이지안으로 접근하는 자연어 처리 (베이지안 통계 개념과 추론 기법, 모델링을 이용한 활용 분석까지 | 2022년도 대한민국학술원 선정 교육부 우수학술도서 | 2 판)

$36.10
Description
1980년대 중반, 언어를 분석하기 위해 말뭉치와 데이터 기반 기술을 많이 사용하면서 자연어 처리는 중대한 변화를 겪었다. 그 이후 자연어 처리에서 통계 기법을 사용하는 방법은 많은 발전이 있었다. 자연어 처리에 대한 베이지안 접근 방식은 1990년대 후반에서 2000년대 초반에 본격적으로 발전하기 시작했다. 빈도주의적 접근 방식의 단점을 개선하고 특히 통계적 학습이 제대로 수행되지 않는 비지도학습 환경에서 많은 부분을 보완했다.
이 책에서는 자연어 처리의 베이지안 학습에 관련된 연구를 할 때 이를 이해하는 데 필요한 방법과 알고리즘을 다룬다. 이러한 알고리즘은 대부분 머신러닝과 통계에서 차용되고 부분적으로 자연어 처리 방법을 참고한다. 마코프 체인, 몬테카를로 샘플링 및 변분 추론, 베이지안 추정, 비모수 모델링과 같은 추론 기법을 다룬다. 또한 사전분포, 켤레 및 생성 모델링과 같은 기본적인 베이지안 통계 개념도 함께 다룬다. 마지막으로 문법 모델링, 신경망 및 표현학습과 같은 자연어 처리의 기본 모델링 기술과 베이지안을 활용한 분석도 다룬다.
선정 및 수상내역
2022년 대한민국학술원 우수학술도서 선정도서
저자

샤이코헨

ShayCohen
에든버러대학교정보학과,언어,인지및계산연구소의강사다.2011년카네기멜론대학교에서언어기술전공으로박사학위를받았으며석사및학사학위는텔아비브대학교에서각각컴퓨터과학및수학전공으로학위를받았다.2011년에서2013년사이에ComputingInnovationFellowship을받으며컬럼비아대학교에서박사후과정을연수했으며2013년에서2018년사이에에든버러대학교에서Chancellor’sFellowship을받았다.연구관심사는자연어처리와머신러닝이며구문및구문분석과같은구조적예측문제에중점을둔다.

목차

1장.머리말

1.1확률측정:확률측도,확률함수
1.2무작위변수
1.2.1연속과이산확률변수
1.2.2다중랜덤변수의결합확률분포
1.3조건부분포
1.3.1베이즈정리
1.3.2독립그리고조건부독립랜덤변수
1.3.3교환가능한랜덤변수
1.4랜덤변수기댓값
1.5모델
1.5.1모수대비모수모델
1.5.2모델로부터추론
1.5.3생성모델
1.5.4모델의독립가정
1.5.5방향성그래프모델
1.6시나리오데이터로부터학습
1.7베이즈와빈도주의철학
1.8요약
1.9연습문제

2장.개요

2.1개요:베이지안통계학과NLP의접점
2.2첫번째연습문제:잠재디리클레할당모델
2.2.1디리클레분포
2.2.2추론
2.2.3요약정리
2.3두번째연습문제:베이지안텍스트회귀
2.4결론과요약
2.5연습문제

3장.사전확률분포

3.1켤레사전분포
3.1.1켤레사전확률과정규화상수
3.1.2잠재변수모델의켤레사전확률활용
3.1.3켤레사전확률분포의혼합
3.1.4재정규화된켤레분포
3.1.5논의:결합되거나결합되지않는다?
3.1.6요약
3.2다항분포와카테고리분포에대한사전확률
3.2.1디리클레분포리뷰
3.2.2로지스틱정규분포
3.2.3논의
3.2.4요약
3.3비-정보성사전확률분포
3.3.1UNIFORMANDIMPROPERPRIORS
3.3.2JeffreysPrior
3.3.3DISCUSSION
3.4CONJUGACYANDEXPONENTIALMODELS
3.5모델이갖는다중파라미터
3.6구조적사전확률분포
3.7결론및정리
3.8연습문제

4장.베이즈추정.

4.1잠재변수를통해배워볼두가지관점
4.2베이지안점추정
4.2.1최대사후확률추정방법
4.2.2최대사후확률방법에따른사후확률분포근사
4.2.3결정이론점추정치
4.2.4정리
4.3실험적베이즈정리
4.4사후확률분포의점근적행동
4.5요약
4.6연습문제

5장.샘플링(표집)방법

5.1MCMC알고리즘:개요
5.2MCMC추론을위한자연어처리모델구조
5.2.1잠재변수분할법
5.3깁스샘플링
5.3.1축소된깁스샘플링
5.3.2연산자관점
5.3.3깁스샘플러병렬화
5.3.4요약
5.4메트로폴리스-헤이스팅스알고리즘
5.4.1메트로폴리스-헤이스팅스의변형
5.5분할샘플링
5.5.1보조변수샘플링
5.5.2자연어처리에서분할샘플링과보조변수샘플링사용법
5.6시뮬레이션어닐링
5.7MCMC알고리즘의수렴
5.8마르코프체인:기본이론
5.9MCMC영역에포함되지않는샘플링알고리즘
5.10몬테카를로적분
5.11논의
5.11.1분포측정대샘플링
5.11.2내포MCMC샘플링
5.11.3MCMC샘플러의실행시간
5.11.4파티클필터링
5.12결론과요약
5.13연습문제

6장.변분추론

6.1주변로그우도에대한변분경계
6.2평균장근사법
6.3평균장변분추론알고리즘
6.3.1디리클레-다항변분추론
6.3.2기댓값-최대화알고리즘과의관계
6.4변분추론을활용한경험적베이즈방법
6.5토의
6.5.1추론알고리즘초기설정
6.5.2수렴진단
6.5.3디코딩을위한변분추론
6.5.4KL발산최소화를위한변분추론
6.5.5온라인변분추론
6.6요약
6.7연습문제

7장.비모수적사전분포

7.1디리클레프로세스:3가지관점
7.1.1막대절단프로세스
7.1.2중국집프로세스
7.2디리클레프로세스혼합모형
7.2.1디리클레프로세스혼합모형기반추론
7.2.2혼합모형들의극한디리클레프로세스
7.3계층적디리클레프로세스
7.4피트만-요르프로세스
7.4.1언어모델링을위한피트만-요르프로세스
7.4.2피트만-요르프로세스의멱법칙성질
7.5토의
7.5.1가우시안프로세스
7.5.2인디언뷔페프로세스
7.5.3내포중국집프로세스
7.5.4거리-종속중국집프로세스
7.5.5시퀀스메모이저
7.6요약
7.7연습문제

8장.베이지안문법모델

8.1베이지안히든마르코프모델
8.1.1무한상태공간에서의히든마르코프모델
8.2확률적문맥자유문법
8.2.1다항의모음으로구성된PCFG
8.2.2PCFG를위한기본적인추론알고리즘
8.2.3PCFG관점의히든마르코프모델
8.3베이지안확률적문맥자유문법
8.3.1PCFG에대한사전분포
8.3.2베이지안PCFG를활용한몬테카를로추론
8.3.3베이지안PCFG를활용한변분추론
8.4어댑터문법
8.4.1피트만-요르어댑터문법
8.4.2막대절단관점의PYAG
8.4.3PYAG를활용한추론
8.5계층적디리클레프로세스PCFGS
8.5.1HDP-PCFG모델로확장
8.6종속적문법
8.6.1상태분할비모수적종속모델
8.7동시발생적문법
8.8다중언어학습
8.8.1품사태깅
8.8.2문법유도
8.9더읽어보기
8.10요약
8.11연습문제

9장.특성표현학습과신경망

9.1신경망및특성표현학습:왜지금인가?
9.2단어임베딩
9.2.1단어임베딩을위한스킵-그램모델
9.2.2베이지안스킵-그램단어임베딩
9.2.3토의
9.3신경망
9.3.1빈도론자추정및역전파알고리즘
9.3.2신경망가중치에대한사전분포
9.4현대NLP에서의신경망활용도
9.4.1RecurrentandRecursive신경망
9.4.2경사도소멸및폭발문제
9.4.3신경망기반인코더-디코더모델
9.4.4ConvolutionalNeuralNetworks(CNN)
9.5신경망조정
9.5.1정칙화
9.5.2초매개변수조정
9.6신경망을통한생성모델링
9.6.1변분오토인코더
9.6.2생성적대신경망
9.7결론
9.8연습문제
맺음말

부록A.기본개념
부록B.분포카탈로그
참고문헌
찾아보기

출판사 서평

★이책의구성★

1장은베이즈자연어처리와관련된확률과통계에대한내용을다룬다.랜덤변수,랜덤변수간의독립성,조건부독립성랜덤변수기댓값등과같은기본적개념을다룬다.또한베이즈통계학과빈도주의통계학이어떻게다른지간략하게설명한다.컴퓨터과학이나통계학의기본적인지식이있다면1장을건너뛰고봐도좋다.
2장에서는2가지예시(잠재디리클레할당모델과베이즈텍스트회귀분석)를활용해자연어처리에서베이즈분석을소개하고,이책의주제에대한높은수준의개요를설명한다.
3장은베이즈통계모델링에서중요한구성요소인사전분포를다룬다.특히디리클레분포,사전분포에대한정보가없는경우,정규분포등과같이베이즈자연어처리에자주사용되는사전분포에대한내용을논한다.
4장은사후분포요약을통해빈도주의적통계와베이즈통계를종합하는아이디어에대해다룬다.또한베이즈에관한개념을유지한상태로,일련의매개변수에대한점추정치를계산하는접근법을상세하게설명한다.
5장은베이즈통계학의주요추론법중하나인마르코프체인몬테카를로(MarkovChainMonteCarolo)를설명한다.깁스샘플링과메트로폴리스-헤이스팅스샘플링(Metropolis-Hastingssampling)과같은베이즈자연어처리에서흔하게다루는샘플링알고리즘(samplingalgorithm)을자세하게알려준다.
6장에서는베이즈자연어처리에서또다른중요한추론법으로여겨지는변분추론을다룬다.평균-장변분추론과변분기댓값최대화알고리즘을설명한다.
7장은베이즈자연어처리에서가장중요한모델링기법인비모수적모델링에대해설명한다.또한디리클레프로세스(DirichletProcess)와피트만-요프로세스(Pitman-Yorprocess)와같은비모수모델을살펴본다.
8장에서는확률론적문맥자유문법과동시성문법과같은자연어처리기본언어모델을다고,이러한언어모델을어댑터문법,계층적디리클레프로세스,PCFG(ProbabilisticContext-FreeGrammars)등과연관지어베이즈내용을바탕으로설명한다.
또한책의뒷부분에는이책을읽기위해필요한배경정보를제공하는두개의부록이포함돼있다.5개이상의문제가각장마다포함돼있어수업교재로활용할수도있다.특히자연어처리에서베이즈분석에대한강의를할수있을것이다.예를들어베이즈자연어처리에대한강의를4번정도한다면,3장부터7장을각각하나의강의로엮을수있다.또한8장의어댑터문법또는베이즈PCFG등과같은개별주제들은각강의마다예시로제공할수있다.

★옮긴이의말★

인공지능기술이발전하면서비약적인성장을이루고있는자연어처리분야에관련된책이다.자연어처리에대한일반적인내용을이해하고있다면베이지안을활용한접근을통해자연어처리를새로운시각에서바라볼수있을것이다.통계개념이많이등장하고다소어렵게느껴질수는있으나,통계적인추정에근거한자연어처리는어떤모습이고어떻게연구되고있는지접할수있다.주제와내용은어려울수있지만저자가최대한쉽게설명하려고했으며,나또한저자의의도에따라이해하기쉽게번역하려고노력했다.