우아한 사이파이 (수학, 과학, 엔지니어링을 위한 파이썬 데이터 분석 라이브러리 SciPy)

후안누네즈이글레시아스

저자후안누네즈이글레시아스
프리랜서컨설턴트이자호주멜버른대학교연구과학자다.이전에는하워드휴즈의학연구센터(HHMI)자넬리아팜연구소연구원으로드미트리‘미탸’치클롭스키와같이일했다.서던캘리포니아대학교에서는샹홍재스민저우교수밑에서조교및박사과정을밟으며계산생물학을공부했다.주요연구관심분야는신경과학과이미지분석이다.생물정보학및통계학의그래프연구방법에관심이많다.

지은이ㆍ옮긴이소개
옮긴이의말
이책에대하여

CHAPTER0들어가며
0.1왜‘사이파이’인가?
0.2사이파이생태계
0.3대혼란:파이썬2vs파이썬3
0.4사이파이생태계와커뮤니티
0.5도움받기
0.6파이썬설치하기
0.7사이파이의세계로

CHAPTER1우아한넘파이:파이썬과학기초
1.1유전자발현데이터
1.2넘파이N차원배열
__1.2.1왜파이썬리스트대신ndarray를사용할까?
__1.2.2벡터화
__1.2.3브로드캐스팅
1.3유전자발현데이터셋
__1.3.1팬더스로데이터읽기
1.4정규화
__1.4.1샘플간비교
__1.4.2샘플간공간크기정규화
__1.4.3유전자간비교
__1.4.4샘플과유전자의정규화:RPKM
1.5마치며

CHAPTER2넘파이와사이파이의분위수정규화
2.1데이터가져오기
2.2개체간유전자발현분포의차이
2.3이중군집화
2.4군집시각화
2.5생존율예측
__2.5.1추가작업:TCGA의환자군집사용하기
__2.5.2추가작업:TCGA군집재현하기

CHAPTER3이미지지역망:ndimage
3.1이미지는넘파이배열일뿐이다
__3.1.1연습문제:격자오버레이추가
3.2신호처리필터
3.3이미지필터링(2차원필터)
3.4제네릭필터:근접값의임의함수
__3.4.1연습문제:콘웨이의생명게임
__3.4.2연습문제:소벨필터코드리팩토링
3.5그래프와NetworkX라이브러리
__3.5.1연습문제:사이파이곡선맞춤
3.6지역근접그래프
3.7우아한ndimage:지역근접그래프에서호랑이추출하기
3.8평균색상분할

CHAPTER4주파수와고속푸리에변환
4.1주파수
4.2새소리스펙트로그램
4.3푸리에변환역사
4.4푸리에변환구현
4.5이산푸리에변환길이선택하기
4.6기타이산푸리에변환개념
__4.6.1주파수와순서
__4.6.2윈도윙
4.7실전레이더데이터분석
__4.7.1주파수영역의신호속성
__4.7.2윈도우적용하기
__4.7.3레이더이미지
__4.7.4기타고속푸리에변환응용
__4.7.5기타참고자료
__4.7.6연습문제:이미지합성곱

CHAPTER5희소행렬과혼동행렬
5.1혼동행렬
__5.1.1연습문제:혼동행렬의계산복잡성
__5.1.2연습문제:혼동행렬을계산하는대체알고리즘
__5.1.3연습문제:다중혼동행렬계산
5.2scipy.sparse데이터형식
__5.2.1COO형식
__5.2.2연습문제:COO형식표현
__5.2.3CSR형식
5.3희소행렬애플리케이션:이미지변환
__5.3.1연습문제:이미지회전
5.4(다시)혼동행렬
__5.4.1연습문제:메모리사용량줄이기
5.5분할과혼동행렬
5.6정보이론요약
__5.6.1연습문제:조건부엔트로피계산
5.7분할의정보이론:정보변형
5.8희소행렬을위한넘파이배열
5.9정보변형사용하기

CHAPTER6사이파이선형대수학
6.1선형대수학기초
6.2그래프의라플라시안행렬
__6.2.1연습문제:회전행렬
6.3뇌데이터와라플라시안
__6.3.1연습문제:유사도보기
__6.3.2도전과제:희소행렬과선형대수학
6.4페이지랭크알고리즘:평판과중요도를위한선형대수학
__6.4.1연습문제:댕글링(Dangling)노드처리
__6.4.2연습문제:함수비교
6.5마치며

CHAPTER7사이파이함수최적화
7.1사이파이최적화모듈:scipy.optimize
__7.1.1예제:이미지이동최적화계산
7.2이미지등록최적화
7.3국소최저치피하기와배싱호핑
__7.3.1연습문제:정렬함수수정
7.4무엇이최선인가?:적합한목적함수선택

CHAPTER8빅데이터와Toolz라이브러리
8.1스트리밍과yield
8.2Toolz스트리밍라이브러리소개
8.3k-mer계산과오류수정
8.4커링:스트리밍의묘미
8.5k-mer계산계속하기
__8.5.1연습문제:스트리밍데이터와PCA
8.6게놈의마르코프모델
__8.6.1연습문제:온라인압축풀기

에필로그
부록:연습문제정답
찾아보기

★왜‘사이파이’인가?
넘파이와사이파이라이브러리는파이썬과학생태계의핵심이다.사이파이소프트웨어라이러리는통계,신호처리,이미지처리및함수최적화와같은과학데이터처리에사용하는일련의함수를제공한다.사이파이는파이썬숫자배열계산라이브러리인넘파이를기반으로한다.지난몇년동안넘파이와사이파이기반앱과라이브러리생태계는천문학,생물학,기상학및기후과학,재료과학등다양한분야에걸쳐급격히성장해왔다.\

★이책에서다루는수학,과학,엔지니어링주요패키지소개
-사이파이(SciPy):신호의처리,통합및최적화,그리고통계와같은분야에사용되는효율적인수치알고리즘의모음이다.사용자친화적인인터페이스를제공한다.
-넘파이(NumPy):파이썬에서기초과학을다루는넘파이는효율적인수치배열과선형대수,난수및푸리에변환을포함한광범위한수치계산을제공한다.넘파이의가장강력한기능은N차원배열(ndarry)이다.이러한자료구조는숫자를효율적으로저장하고,다차원의그리드(grid)를정의한다.
-맷플롯립(Matplotlib):2차원및기본적인3차원그래프를그리는강력한패키지다.
-아이파이썬(IPython):데이터와테스트로직을적용하여그결과를쉽고빠르게얻을수있는파이썬의대화식인터프리터인터페이스다.
-주피터노트북(Jupyternotebook):브라우저에서코드,텍스트,수식및대화식위젯을결합한풍부한문서를만들수있다.실제로이책에서사용하는코드를주피터노트북으로변환하여실행했다(이책의모든예제가올바르게작동한다).주피턴는아이파이썬의확장으로시작했지만,현재는사이썬(Cython),줄리아(Julia),R,옥타브(Octave),배시(Bash),펄(Perl),루비(Ruby)를비롯한여러언어를지원한다.
-팬더스(pandas):사용하기쉬운패키지형태로칼럼형식의자료구조를빠르게제공한다.특히테이블혹은관계형데이터베이스와같이레이블이있는데이터셋을처리하고,시계열(timeseries)데이터와슬라이딩윈도우(slidingwindow)를관리하는데적합하다.또한,데이터파싱,정리,수집하고,그래프를그리는데편리한데이터도구를제공한다.
-사이킷-런(scikit-learn):머신러닝알고리즘용통합인터페이스를제공한다.
-사이킷-이미지(scikit-image):사이파이생태계와완벽하게통합하는이미지분석도구를제공한다.

★주요내용
-과학계산에활용되는자료구조넘파이배열사용하기
-분위수정규화를사용하여측정값이특정분포에맞는지확인하기
-시간또는공간데이터를주파수도메인데이터로고속푸리에변환하기
-사이파이희소모듈로이미지분할화와희소행렬문제해결하기
-사이파이패키지를사용하여선형대수학다루기
-사이파이의최적화모듈로이미지를정렬하고등록하기
-파이썬데이터스트리밍요소와Toolz라이브러리로대규모데이터셋처리하기