자동머신러닝 (AutoML 창시자가 알려주는 | 2022년도 대한민국학술원 선정 교육부 우수학술도서)

프랭크허터

FrankHutter
독일프라이부르크대학교(UniversityofFreiburgFreiburg)컴퓨터과학과를졸업했다

1부.AutoML방법

1장.하이퍼파라미터최적화
1.1서론
1.2문제기술
1.2.1최적화에대한대안:앙상블과한계화
1.2.2다중목적에대한최적화
1.3블랙박스하이퍼파라미터최적화
1.3.1모델프리블랙박스최적화방법
1.3.2베이지안최적화
1.4다중충실도최적화
1.4.1조기종료를위한학습곡선기반의예측
1.4.2밴딧기반알고리듬선택방법
1.4.3충실도의적응적선택
1.5AutoML에의응용
1.6미해결문제와미래연구방향
1.6.1벤치마크와비교가능성
1.6.2그래디언트기반최적화
1.6.3확장성
1.6.4과적합과일반화
1.6.5임의크기의파이프라인구축


2장.메타러닝
2.1서론
2.2모델평가로부터학습
2.2.1작업독립권장
2.2.2설정공간설계
2.2.3설정전이
2.2.4학습곡선
2.3작업속성으로부터학습
2.3.1메타-특성
2.3.2메타-특성학습
2.3.3유사작업으로부터예열시작최적화
2.3.4메타모델
2.3.5파이프라인합성
2.3.6조정할것인가,조정하지않을것인가
2.4사전모델로부터학습
2.4.1전이학습
2.4.2신경망으로메타러닝
2.4.3소수사례학습
2.4.4지도학습을넘어서
2.5결론


3장.신경망구조탐색
3.1서론
3.2탐색공간
3.3탐색전략
3.4성과추정전략
3.5미래방향


2부.AutoMLSystems

4장.오토웨카:자동모델선택과웨카를활용한하이퍼파라미터최적화
4.1서론
4.2사전준비
4.2.1모델선택
4.2.2하이퍼파라미터최적화
4.3결합알고리듬선택과하이퍼파라미터
4.3.1순차적모델기반알고리듬구성
4.4오토웨카
4.5실험평가
4.5.1베이스라인방법
4.5.2검증성과결과
4.5.3테스트성과결과
4.6결론
4.6.1커뮤니티채택


5장.하이퍼옵트사이킷런
5.1서론
5.2배경:최적화를위한하이퍼옵트
5.3검색문제로서사이킷런모델선택
5.4사용예제
5.5실험
5.6논의와미래연구
5.7결론


6장.오토사이킷런:효율적이고강건한자동머신러닝157
6.1서론
6.2CASH문제로서의AutoML
6.3AutoML의효율성과강건성을향상시키기위한새로운방법
6.3.1좋은머신러닝프레임워크를찾기위한메타러닝
6.3.2최적화동안평가된모델의자동앙상블구축
6.4현실적인AutoML시스템
6.5오토사이킷런의오토웨카와하이퍼옵트사이킷런과의비교
6.6AutoML개선안의평가
6.7오토사이킷런구성요소의세부분석
6.8논의와결론
6.8.1논의
6.8.2사용법
6.8.3PoSH오토사이킷런의확장
6.8.4결론과미래연구


7장.딥신경망의자동튜닝
7.1서론
7.2오토넷1.0
7.3오토넷2.0
7.4실험
7.4.1오토넷10과오토사이킷런의베이스라인평가
7.4.2AutoML경연데이터셋에대한결과
7.4.3오토넷10과20의비교
7.5결론


8장.TROP:자동머신러닝을위한트리기반파이프라인최적화도구
8.1서론
8.2방법
8.2.1머신러닝파이프라인연산자
8.2.2트리기반파이프라인구축
8.2.3트리기반파이프라인최적화
8.2.4벤치마크데이터
8.3결과
8.4결론과미래연구


9장.자동통계전문가시스템
9.1서론
9.2자동통계전문가의기본해부
9.2.1관련연구
9.3시계열데이터에대한자동통계전문가시스템
9.3.1커널에대한문법
9.3.2탐색과평가절차
9.3.3자연어설명생성
9.3.4인간과의비교
9.4다른자동통계전문가시스템
9.4.1핵심구성요소
9.4.2설계에있어서풀어야할과제들
9.5결론


10장.2015-2018AutoML챌린지시리즈에관한분석
10.1서론
10.2문제설정과개요
10.2.1문제의범위
10.2.2완전모델선택
10.2.3하이퍼파라미터최적화
10.2.4모델탐색전략
10.3데이터
10.4챌린지프로토콜
10.4.1시간예산과계산자원
10.4.2점수척도
10.4.32015/2016챌린지라운드와단계
10.4.42018챌린지단계
10.5결과
10.5.12015/2016챌린지에서얻은점수
10.5.22018챌린지에서얻은점수
10.5.3데이터셋/작업의어려움
10.5.4하이퍼파라미터최적화
10.5.5메타러닝
10.5.6챌린지에서사용된방법들
10.6논의
10.7결론

부록I.AutoML최신동향
부록II.메타러닝과AutoML

◈이책의구성◈

1부에서는AutoML방법의개요를제공한다.초보자들을위한탄탄한개요를제공하며경험이많은AutoML연구자에게참고자료가사용될것이다.
1장에서는AutoML이고려하는가장단순하고일반적인문제인하이퍼파라미터최적화문제에관해설명하고,현재가장효율적인방법을중점적으로설명한다.
2장에서는학습방법,즉머신러닝모델평가에서얻은경험을활용해새로운데이터로새로운학습작업에접근하는방법을설명한다.
3장에서는NAS(NeuralArchitectureSearch)방법에대해포괄적으로설명한다.

2부는초보사용자도사용할수있는실제AutoML시스템에초점을맞춰설명한다.
4장에서는최초의AutoML시스템중하나인오토웨카(Auto-WEKA)를설명한다.이툴킷은잘알려진WEKA머신러닝툴킷을기반으로하며다양한분류및회귀분석방법,하이퍼파라미터설정및데이터전처리방법을탐색한다.
5장에서는널리사용되는사이킷런(scikit-learn)프레임워크를기반으로하는AutoML프레임워크인하이퍼옵트-사이킷런(Hyperopt-Sklearn)을간략히설명한다.또한시스템사용방법에대한몇가지실제예도포함돼있다.
6장에서는사이킷런을기반으로하는오토사이킷런(Auto-sklearn)을설명한다.이는오토웨카와유사한최적화기술을적용하고,최적화웜스타트(warmstarting)및자동앙상블(autoensembling)을위한메타러닝(meta-learning)과같은여러가지개선사항을추가했다.또한4장과5장의오토웨카및하이퍼옵트-사이킷런의성능과오토사이킷런의성능과비교한다.
7장에서는딥신경망의구조와하이퍼파라미터를모두선택하는자동딥러닝을위한시스템인오토넷(Auto-Net)을간략히설명한다.
8장에서는트리기반머신러닝파이프라인을자동으로구성하고최적화하는TPOT시스템을설명한다.
9장에서는데이터분석뿐만아니라예측모델및성과비교가포함된완전자동화된보고서를생성해데이터과학을자동화하는시스템인자동통계전문가시스템(AutomaticStatistician)을설명한다.
마지막으로3부와10장에서는2015년부터실행돼온AutoML챌린지(경연대회)에대해간략히설명한다.
10장에서는경연대회와그설계배후에있는아이디어와개념뿐만아니라과거경연대회에서얻은결과도자세히설명한다.

◈옮긴이의말◈

자동머신러닝(AutoML)의창시자(적어도초기에가장큰공헌을한연구자)들이AutoML의역사와현황,발전방향을다룬책이다.전통적인머신러닝분야,메타러닝및NAS분야에서여러개념을설명하고있으며,더나아가실제적으로사용하는소프트웨어및프레임워크를소개하고있다.더불어이모든것의종합적기반을다지게한AutoML챌린지(경연대회)에대한기반아이디어및진행경험을보여주고있다(나또한경연대회는머신러닝발전을위한훌륭한수단이라고생각한다.비근한예로ImageNet까지안가도Kaggle을생각해보라).
이책이기본개념및배경철학을잘다루고있지만,이책의저술시기가2018년이고이후많은발전이있었기때문에이를보완하기위해He,Zhao와Chu(2020)의AutoML최신동향조사를요약발췌해부록에첨부했다.이책과같이읽으면AutoML의근본적인문제뿐만아니라최신기법까지섭렵할수있을것이다.이외에도아주중요한문헌들을참고문헌으로첨부했으니참고하기를바란다.
추가로이책의저자프랭크후터는훌륭한강연을유튜브에여러편남기고있어관심있는독자들은참고하기바란다.더불어유튜브나블로그에많은AutoML에관련된많은동영상과글들이있지만,특히카네기멜론대학교교수인아미트탈왈카르(AmeetTalwalker)의유튜브강연을보길권한다.NAS의탐색공간,구조탐색및구조평가의관점에서NAS를분류하고있는데이는개념을정리하는데많은도움이될것이다.
머신러닝과딥러닝의민주화를기치(旗幟)로하는AutoML은아마도인공지능분야의가장역동적이고흥미로운분야중하나이므로앞으로수년내로더욱획기적인발전이있을것으로전망된다.독자들이이책을통해단순히기계적인테크닉으로서의AutoML이아니라인간이가진어떤문제를풀어나가는해법으로AutoML를인식하고,인간이더높은단계로하나하나문제를풀어나가는과정을즐기기를바란다.