파이썬으로 시작하는 한국어 정보 검색과 자연어 처리 (한글 프로그래밍과 자연어 처리 핵심 알고리즘)

박건숙

문학박사
상명대학교대학원한국학과조교수(현재)
상명대학교사범대학국어교육과전임강사(지냄)
서울대학교국어교육연구소선임연구원(지냄)

저서
〈생각하고표현하기,한번쉬고말하기〉
〈쓰기교육을위한ⓔ논술프로그램의구현과실제〉
〈한국어와한국어교육Ⅰ〉(공저)
〈한국어인공지능I:Python으로시작하는한글처리〉

PART1파이썬한글처리
Chapter01파이썬기초
1.한글변수및함수선언
2.한글텍스트파일열기(Open)
3.한글텍스트파일읽기(Read)
4.한글처리를위한내장함수
Chapter02문자열의한글처리
1.문자열(str)생성과인덱스
2.문자열(str)탐색
3.문자열(str)변경과합성
4.문자열(str)추출과분할
5.문자열(str)루프처리
Chapter03목록형자료의한글처리
1.목록(list)
2.튜플(tuple)
3.사전(dict)
4.집합(set)
Chapter04정렬과컴프리헨션
1.목록(list)정렬(sort)
2.sorted()함수정렬
3.컴프리헨션(comprehension)

PART2한글공학이론과구현
Chapter05한글코드와유니코드
1.한글자모와음절
2.한글코드의역사와종류
3.유니코드(Unicode)

Chapter06한글코드변환알고리즘
1.음절형한글코드와자모형한글코드
2.음절의자모변환
3.자모의음절변환
Chapter07한글오토마타와두벌식자모변환알고리즘
1.두벌식조합과자모
2.한글오토마타(Automata)
3.음절의두벌식자모변환
4.반각자모와초/중/종성자모의두벌식자모변환
Chapter08한/영변환알고리즘
1.영한변환
2.한영변환

PART3정보검색과자연어처리
Chapter09한국어정보검색알고리즘
1.선형탐색
2.역파일색인과자동색인
3.정보검색시스템구현
Chapter10단어및토큰처리
1.단어처리
2.토큰과문자영역
3.토큰처리
Chapter11키워드및용례추출알고리즘
1.키워드추출
2.키워드용례추출
3.키워드목록정렬과통계
Chapter12단어유사도측정알고리즘
1.자카드거리(JaccardDistance)
2.타니모토거리(TanimotoDistance)
3.레벤슈타인거리(LevenshteinDistance)
4.코사인거리(CosineDistance)
Chapter13철자교정알고리즘
1.철자교정알고리즘의원리
2.초/중/종성기반철자교정
3.두벌식자모기반철자교정
Chapter14한/영변환철자교정알고리즘
1.영한변환철자교정
2.한영변환철자교정
Chapter15n-gram기반철자교정알고리즘
1.n-gram기반철자교정알고리즘의원리
2.n-gram기반한글철자교정
3.n-gram기반한/영변환및철자교정
Chapter16검색어자동추천알고리즘
1.문자열일치탐색
2.트라이(trie)알고리즘
3.두벌식자모기반검색어자동추천
4.초/중/종성기반검색어자동추천
Chapter17한/영변환자동추천알고리즘
1.영한변환자동추천
2.한영변환자동추천
3.한글및영문자단어동시자동추천
Chapter18n-gram기반철자교정자동추천알고리즘
1.n-gram기반철자교정자동추천의원리
2.n-gram기반한글철자교정자동추천
3.n-gram기반한/영변환철자교정자동추천

PART4데이터기반추천
Chapter19파이썬통계처리기초
1.통계기초및데이터시각화
2.도수분포와히스토그램
3.산포도와상관계수

Chapter20영화추천알고리즘
1.협업필터링기반영화추천
2.콘텐츠기반영화추천
3.텍스트기반영화추천

PART5부록
1.t2bot커널(kernel)과예제소스코드
2.웹스크래퍼구현
3.영어토큰처리기와어휘빈도사전
4.t2bot자동색인시스템매뉴얼
5.유니코드의한글자모와호환문자코드

한국어기반의자연어처리핵심알고리즘
최근자연어처리에대한열기가매우뜨겁다.생활속에서인터넷정보검색,검색어자동추천,챗봇등다양한자연어처리알고리즘을경험하면서컴퓨터학은물론다양한학문영역에서자연어처리에대한관심이높아지고있다.그러나여전히자연어처리분야에서는외국서적을번역하여원리를공부하고영어처리를기반으로한소스코드를대상으로알고리즘을구현하고있다.자연어처리알고리즘을공부하였다면우리언어인한국어를기반으로창의적으로문제를해결하는방법을배워야한다.

언어인공지능의핵심적인역할을하는자연어처리는언어와소프트웨어의융합된분야이다.언어를대상으로하므로해당언어에대한이해가필요하고소프트웨어로구현하기위해서는컴퓨터공학에대한이해가필요하다.그러나최근자연어처리교재들은대부분오픈소스를매뉴얼식으로조립하는방법을설명하는것이주류를이루고있다.오픈소스프로젝트덕분에컴퓨터학전공자는물론비전공자도다양한개발도구와소스코드를활용하여웬만한프로젝트는어렵지않게배울수있게되었지만,‘한국어처리’에관한오픈소스는찾기어렵고언어체계에대한내용은생략되거나외부프레임워크를호출하여간단하게조작하는방법만제시하고있다.한국어처리의기본이되는한글오토마타와한국어정보검색은한글체계와조합원리를기반으로하는데이에대한설명과알고리즘구현과정을명확하게설명하거나가르쳐주는책은찾아보기어렵다.

이책은한국어를기반으로자연어처리를시작하는독자를위해서준비한것으로,한국어프로그래밍및한국어처리의이론과실제를망라한이론서이자응용서이다.이책은한국어기반의정보검색,철자교정,검색어추천등을구현할수있도록자연어처리알고리즘을알기쉽게설명하고,자연어처리커널소스코드와300개이상의예제코드를제공하였다.특히예제코드는입문자도자연어처리프로그래밍을경험하고실습수준이아닌실용적인수준의결과물을구현하는데에실질적인도움이될것이다.