자연어 처리와 딥러닝 (딥러닝으로 바라보는 언어에 대한 생각)

리덩

LiDeng
2017년5월부터시타델연구소에서최고인공지능관리자로일하고있다.딥러닝기술센터창업자이자AI최고연구원이었으며,마이크로소프트파트너연구관리자를역임했다.캐나다온타리오의워털루대학교정교수를역임했으며MIT,일본교토의ATR,홍콩HKUST에서연구와강의를병행했다.현재IEEE,전미음성학회,ISCA의회원이다.2000년이후부터워싱턴대학교에서겸임교수로활동하고있다.IEEE음성신호처리학회이사회회원으로선출됐으며,「IEEESignalProcessing(IEEE음성신호)」매거진과「IEEE/ACMTransactionsonAudio,Speech,andLanguageProcessing(IEEE/ACM소리,음성,언어처리트랜잭션)」편집장(2008-2014)을지냈고IEEESPS공로상을수상했다.대규모딥러닝을사용해혁신적인음성인식초기연구를세운업적을인정받아2015년딥러닝과자동음성인식에관한IEEESPS기술업적상을받았다.또한인공지능,머신러닝,자연어처리,정보획득,멀티미디어신호처리,음성인식에대한업적으로무수한최고논문상과특허를받았다.현재6권의기술서저자이자공동저자다.

추천의글
지은이소개
옮긴이소개
옮긴이의말
연구공헌자들
약어
들어가며

1장.자연어처리와딥러닝소개
1.1자연어처리:기본내용
1.2첫번째물결:이성주의
1.3두번째물결:실증주의
1.4세번째물결:딥러닝
1.5미래로의전환
1.5.1실증주의에서딥러닝으로:혁명
1.5.2현재딥러닝기술의한계
1.6자연어처리의향후방향
1.6.1신경망과기호의통합
1.6.2구조,기억그리고지식
1.6.3비지도학습과생성딥러닝
1.6.4다중양식및멀티태스킹딥러닝
1.6.5메타러닝
1.7요약

2장.대화이해에사용되는딥러닝
2.1소개
2.2역사적관점
2.3주요언어이해작업
2.3.1도메인탐지및의도결정
2.3.2슬롯채우기
2.4기술의고도화:통계모델링에서부터딥러닝까지
2.4.1도메인탐지와의도결정
2.4.2슬롯채우기
2.4.3멀티태스크멀티도메인연결모델링
2.4.4문맥에서이해하기
2.5요약

3장.음성및텍스트기반대화시스템에사용되는딥러닝
3.1서론
3.2대화시스템의구성요소학습방법
3.2.1판별방법
3.2.2생성방법
3.2.3의사결정
3.3목표지향신경대화시스템
3.3.1신경망언어이해
3.3.2대화상태추적기
3.3.3심층대화관리자
3.4모델기반사용자시뮬레이터
3.5자연어생성
3.6대화시스템구축을위한엔드투엔드딥러닝방식
3.7오픈대화시스템을위한딥러닝
3.8대화모델링을위한데이터셋
3.8.1카네기멜론커뮤니케이터말뭉치
3.8.2ATIS:항공여행정보시스템파일럿말뭉치
3.8.3대화상태추적챌린지데이터셋
3.8.4말루바프레임데이터셋
3.8.5페이스북대화데이터셋
3.8.6우분투대화말뭉치
3.9오픈소스대화소프트웨어
3.10대화시스템평가
3.11요약

4장.어휘분석과문장분석에사용되는딥러닝
4.1배경
4.2어휘분석과문법분석
4.2.1단어세분화
4.2.2형태소분석
4.2.3구문분석
4.2.4구조화된예측
4.3구조화예측방법
4.3.1그래프기반방법
4.3.2전이기반방법들
4.4신경그래프기반방법
4.4.1신경조건부랜덤필드
4.4.2신경망그래프기반의의존분석
4.5신경망전이기반방법
4.5.1그리디이동축소의존분석
4.5.2그리디시퀀스레이블링
4.5.3전역최적화모델
4.6요약

5장.지식그래프에서사용되는딥러닝
5.1서론
5.1.1기본개념
5.1.2전형적인지식그래프
5.2지식표상학습
5.3신경망관계추출
5.3.1문장수준신경망관계추출
5.3.2문서수준신경망관계추출
5.4텍스트와지식연결:개체연결
5.4.1개체연결프레임워크
5.4.2개체연결딥러닝
5.5요약

6장.기계번역에사용되는딥러닝
6.1서론
6.2통계기계번역과그과제
6.2.1기본내용
6.2.2통계기계번역과제
6.3기계번역을위한구성요소수준딥러닝
6.3.1단어배열을위한딥러닝
6.3.2번역규칙확률추정딥러닝
6.3.3구재배열을위한딥러닝
6.3.4언어모델링을위한딥러닝
6.3.5피처조합을위한딥러닝
6.4기계번역을위한엔드투엔드딥러닝
6.4.1인코더-디코더프레임워크
6.4.2기계번역에사용되는신경망관심
6.4.3잘쓰이지않는어휘의기술적문제점다루기
6.4.4평가지표를최적화하는엔드투엔드학습
6.4.5사전지식투입하기
6.4.6자원이부족한언어번역
6.4.7신경망기계번역에서네트워크구조
6.4.8통계기계번역과신경망기계번역의조합
6.5요약

7장.질의응답에사용되는딥러닝
7.1서론
7.2지식기반질의에사용되는딥러닝
7.2.1정보추출스타일
7.2.2의미분석스타일
7.2.2
7.2.3정보추출스타일대의미분석스타일
7.2.4데이터종류
7.2.5도전과제
7.3기계이해에사용되는딥러닝
7.3.1태스크설명
7.3.2기계이해에서피처엔지니어링방법
7.3.3기계이해를위한딥러닝
7.4요약

8장.딥러닝으로하는감성분석
8.1소개
8.2감성기반단어임베딩
8.3문장수준감성분석
8.3.1컨볼루션신경망
8.3.2순환신경망
8.3.3재귀신경망
8.3.4외부자원통합
8.4문서수준감성분류
8.5정밀하게정제된감성분석
8.5.1의견마이닝
8.5.2표적감성분석
8.5.3특정면수준감성분석
8.5.4입장포착
8.5.5풍자감지
8.6요약

9장.소셜컴퓨팅에서사용되는딥러닝
9.1소셜컴퓨팅소개
9.2딥러닝으로하는사용자생성콘텐츠모델링
9.2.1전통적의미표상
9.2.2얕은임베딩으로의미표상하기
9.2.3심층신경망으로하는의미표상
9.2.4관심메커니즘으로의미표상강화하기
9.3딥러닝을사용한소셜커넥션모델링
9.3.1소셜미디어소셜커넥션
9.3.2소셜커넥션을모델링하는네트워크학습법
9.3.3얕은임베딩모델
9.3.4심층신경망모델
9.3.5네트워크임베딩적용
9.4딥러닝을이용한추천
9.4.1소셜미디어에서추천
9.4.2전통추천알고리즘
9.4.3얕은임베딩기반모델
9.4.4심층신경망기반모델
9.5요약

10장.이미지로부터자연어생성을위한딥러닝
10.1소개
10.2배경
10.3이미지에서나온자연어생성을위한딥러닝프레임워크
10.3.1엔드투엔드프레임워크
10.3.2구성프레임워크
10.3.3기타프레임워크
10.4평가지표및벤치마크
10.5이미지캡셔닝의산업배치
10.6예제:이미지에대한자연어설명
10.7이미지에서스타일리시한자연어생성최근연구
10.8요약

11장.에필로그:딥러닝시대에자연어처리의경계
11.1소개
11.2두가지새로운관점
11.2.1태스크관점
11.2.2표상관점
11.3자연어처리를위한딥러닝의주요발전과연구경계선
11.3.1일반화를위한구성
11.3.2자연어처리에대한비지도학습
11.3.3자연어처리를위한강화학습
11.3.4자연어처리를위한메타학습
11.3.5해석가능성:약한센스와강한센스
11.4요약

전문용어
찾아보기

★이책의대상독자★

주요목표는자연어처리에적용된최근딥러닝의발전에관한포괄적인조사내용을제공하는데있다.자연어처리중심인딥러닝연구의최신기술이적용되는음성언어이해,대화시스템,어휘분석,구문분석,지식그래프,기계번역,질의응답,감정분석,소셜컴퓨팅및(이미지에서)자연어생성등을다룬다.대학원생,박사후연구원,교육자,산업계연구원및자연어처리와관련된최신기법익히기에관심이있는독자를대상으로하며,컴퓨팅에대한기술적배경을가진이에게적합할것이다.

★이책의구성★

이책은11개의장으로구성된다.
1장:자연어처리와딥러닝소개(LiDeng과YangLiu)
2장:대화이해에적용되는딥러닝(GokhanTur,AsliCelikyilmaz,XiaodongHe,DilekHakkani-T?r,LiDeng)
3장:음성및텍스트기반대화시스템의딥러닝(AsliCelikyilmaz,LiDeng,DilekHakkani-T?r)
4장:어휘분석및문법분석에서딥러닝(WanxiangChe와YueZhang)
5장:지식그래프의딥러닝(ZhiyuanLiu와XianpeiHan)
6장:기계번역의딥러닝(YangLiu와JiajunZhang)
7장:질의응답의딥러닝(KangLiu와YansongFeng)
8장:감성분석의딥러닝(DuyuTang과MeishanZhang)
9장:소셜컴퓨팅의딥러닝(XinZhao와ChenliangLi)
10장:이미지로부터자연어생성에서딥러닝(XiaodongHe와LiDeng)
11장:에필로그(LiDeng과YangLiu)

1장에서는자연어처리와딥러닝전체소개와이후에다룰주요내용을리뷰한다음역사적인발전을세가지물결로연계하고향후방향을살펴본다.2장에서10장까지는자연어처리에적용된최근학습방법의개별애플리케이션을다루는장으로구성된다.각장은주요연구자가각분야에서적극적으로실행했던연구를기반으로한다.

★옮긴이의말★

나는IT업계에종사하고있는딥러닝전문가는아니다.대학에서경영전략을가르치고연구하는경영학자이지만,마케팅과경영전략을위한데이터분석(DataAnalysisforMarketing&BusinessStrategy)을강의하고있어서데이터과학의변화에정신줄을놓지않으려고꾸준히노력하고있다.전략경영을주제로연구하면서자연스럽게이르게되는종착지점은“조직의사결정자”들의생각과관심이었다.그들이생각하는방향과관심은기업의전략변화와행동에영향을미치기때문에학자에게는좋은연구주제다.또한투자자에게는경영자위험(executiverisks)을줄일수있는예측모델의정확성을높일수있도록하고다양한이해관계자에게는사회에영향을미칠수있는기업행동의가능성을판단하는데중요한신호가된다.
조직의사결정자뿐만아니라사회생활을영위해가고있는개인도급성장해온소셜미디어덕분에다양한방식으로소통하고인터넷상에엄청난양의글을남기고있다.이처럼글로된자료는많아져도,행과열에맞게쉽게정리할수있었던숫자데이터와달리,글은다양한문자조합을통해개인마다쓰는스타일이다르고,같은말을해도뜻이다르다.심지어같은의미지만말하는순서도다른문자데이터를컴퓨터에게알려주고이해시켜결과를받아낸다는아이디어자체가어렵기때문에자연어로된문자데이터분석에진입장벽이있다.
이번책을번역하기전에는문자데이터분석에대한인류의노력이얼마나오랫동안진행돼왔는지몰랐다.다만문서를활용해진행해왔던나의연구방법변화는저자들이1장에서소개한딥러닝기반자연어처리에이르는역사적과정과매우유사해놀랐고,사람들이생각하는흐름이비슷하단깨달음에반갑기도했다.박사과정에서글을분석할때처음사용했던방법은분석대상문서의내용을인식할수있는단어와구가들어간‘사전(dictionary)’을개발하는작업이었다.이부분은책의저자들이말하는룰(rule)기반학습에해당한다.미리준비한사전에충분한어휘들이있고분석해야할표적문서에있는단어들을커버할수있다면효율적인방식이지만,단어의미와사용법이시간과장소가변하면서달라지기도하고새로운용어들이등장하기때문에적용범위가매우협소하다는치명적인문제점이있다.
협소한적용범위의일반화한계점을극복하기위해여러방법을찾던중머신러닝을알게됐는데,저자들이말하는통계기반학습과일치한다.혼자서머신러닝을배우기시작했을때,머신러닝이소위‘낮은학습(shallowlearning)’과‘깊은학습(deeplearning,딥러닝)’으로나뉘는지몰랐다.낮은학습은수집한문서를컴퓨터가인식하고,조건부확률방식으로내용을분류하는모델을학습하기때문에특정‘사전’에의존하는원칙기반방식에비해적용범위가넓어졌다.하지만컴퓨터가의미를이해하고분류한것이냐는원천적인질문에대한답변은룰기반과마찬가지로오로지구조로만판단하는문제점때문에사람이분류된내용을직접읽어서검증해야한다는한계점에부딪치게됐다.
결국인류에게한계점극복에대한욕망의끝은없는것같다.번역자인나는기계에게말의구조뿐만아니라의미까지학습시켜서진정으로문서를분석했다고말하고싶기때문에해결책의방향은자연스럽게딥러닝으로향한다.개인적으로는딥러닝방법론을사용해경영학저널에논문을출판해보겠다는목표가있으며,번역을통해구체적으로적용방법에관한큰그림을그릴수있어즐거웠다.이책은코드를보고따라하면서결과물을실행할수있는공구상자를제공하지않는다.대신딥러닝을포함한머신러닝의역사,딥러닝과통계기반머신러닝이적용되는영역,딥러닝디자인,디자인한계점과해결방법,향후연구과제등코드이면에담겨있는이야기를여러전문가의참여로제작했다.
나처럼숫자데이터를넘어문자데이터의컴퓨터인식과학습,결과물제시를통해만들수있는자연어처리애플리케이션에관심이있다면좋은지식과혜안,아이디어를줄수있는책이라생각한다.실제로R과파이썬으로자연어처리작업을진행하면서어떤솔루션을적용해야할지에대한아이디어가깊어진다고느끼는것은이책에서얻을수있었던또다른즐거움이었다.