연합학습

치앙양

QiangYang
위뱅크(WeBank)의AI부서장(AI최고책임자)이자홍콩과학기술대학교컴퓨터공학과석좌교수다.그전에학과장을맡은바있으며,빅데이터인스티튜트(BigDataInstitute)의설립이사(2015~2018)이기도했다.관심분야는AI,머신러닝,데이터마이닝등이며특히전이학습,자동계획수립,연합학습,사례기반추론에관심을갖고있다.ACM,AAAI,IEEE,IAPR,AAAS등여러국제협회의회원이다.메릴랜드대학교칼리지파크캠퍼스에서1989년에컴퓨터공학박사학위를,1985년에천체물리학석사학위를받았다.학사학위는천체물리학으로1982년에베이징대학교에서받았다.워털루대학교(1989~1995)와사이먼프레이저대학교(1995~2001)의교수를역임했다.「ACMTISTACMTransactionsonIntelligentSystemsandTechnology」와「IEEETBDIEEETransactionsonBigData」저널의초대편집장을지냈다.IJCAIInternationalJointConferenceonAI의대회장(2017~2019)과AAAI(AssociationfortheAdvancementofAI)의집행이사회멤버(2016~2020)로봉사했다.수상경력으로는‘2004/2005ACMKDDCUP챔피언십’,‘ACMSIGKDD특별공로상(DistinguishedServiceAward)’(2017),‘AAAI혁신적인AI애플리케이션상(InnovativeAIApplicationsAward)’(2016)등이있다.화웨이(Huawei)의‘노아의방주연구소(Noah’sArkLab)’초대연구소장(2012~2014)을지냈으며,AI플랫폼회사인포패러다임(4Paradigm)의공동설립자이기도하다.지은책으로는『IntelligentPlanning』(Springer,1997),『CraftingYourResearchFuture』(Morgan&Claypool,2012),『Constraint-basedDesignRecoveryforSoftwareEngineering』(Springer,1997)등이있다.

1장.서론
1.1동기
1.2해결책으로서의연합학습
1.2.1연합학습의정의
1.2.2연합학습의범주
1.3연합학습의발전현황
1.3.1연합학습분야의연구이슈
1.3.2오픈소스프로젝트
1.3.3표준화활동
1.3.4FedAI생태계
1.4이책의구성

2장.배경지식
2.1프라이버시보전머신러닝
2.2프라이버시보전머신러닝과보안머신러닝
2.3프라이버시위협모델과보안모델
2.3.1프라이버시위협모델
2.3.2적대자모델과보안모델
2.4프라이버시보전기법
2.4.1다자간보안계산
2.4.2동형암호
2.4.3차분프라이버시

3장.분산머신러닝
3.1분산머신러닝소개
3.1.1분산머신러닝의정의
3.1.2분산머신러닝플랫폼
3.2확장성지향분산머신러닝
3.2.1대규모머신러닝
3.2.2확장성지향분산머신러닝기법
3.3프라이버시지향분산머신러닝
3.3.1프라이버시보전의사결정트리
3.3.2프라이버시보전기법
3.3.3프라이버시보전분산머신러닝기법
3.4프라이버시보전경사하강법
3.4.1순수연합학습
3.4.2프라이버시보전방식
3.5요약

4장.수평연합학습
4.1수평연합학습의정의
4.2수평연합학습아키텍처
4.2.1클라이언트-서버아키텍처
4.2.2피어투피어아키텍처
4.2.3글로벌모델평가
4.3연합평균알고리듬
4.3.1연합최적화
4.3.2FedAvg알고리듬
4.3.3보안FedAvg알고리듬
4.4FedAvg알고리듬의개선
4.4.1통신효율성
4.4.2클라이언트선택
4.5관련연구
4.6도전과제와향후전망

5장.수직연합학습
5.1수직연합학습의정의
5.2수직연합학습의아키텍처
5.3수직연합학습알고리듬
5.3.1보안연합선형회귀
5.3.2보안연합트리부스팅
5.4도전과제와향후전망

6장.연합전이학습
6.1이종연합학습
6.2연합전이학습
6.3연합전이학습프레임워크
6.3.1덧셈동형암호
6.3.2연합전이학습의훈련과정
6.3.3연합전이학습의예측과정
6.3.4보안분석
6.3.5비밀공유기반FTL
6.4도전과제와향후전망

7장.연합학습을위한인센티브메커니즘설계
7.1기여자보상
7.1.1이익배분게임
7.1.2역경매
7.2공정성인지형이익배분프레임워크
7.2.1기여모델링
7.2.2비용모델링
7.2.3불만도모델링
7.2.4시간적불만도모델링
7.2.5정책조정자
7.2.6보상비중계산
7.3토의

8장.컴퓨터비전,자연어처리,추천시스템을위한연합학습
8.1컴퓨터비전을위한연합학습
8.1.1연합컴퓨터비전
8.1.2관련연구
8.1.3도전과제와향후전망
8.2자연어처리를위한연합학습
8.2.1연합자연어처리
8.2.2관련연구
8.2.3도전과제와향후전망
8.3추천시스템을위한연합학습
8.3.1추천모델
8.3.2연합추천시스템
8.3.3관련연구
8.3.4도전과제와향후전망

9장.연합강화학습
9.1강화학습소개
9.1.1정책
9.1.2보상
9.1.3가치함수
9.1.4환경모델
9.1.5강화학습사례
9.2강화학습알고리듬
9.3분산강화학습
9.3.1비동기분산강화학습
9.3.2동기분산강화학습
9.4연합강화학습
9.5도전과제와향후전망

10장.응용분야
10.1금융
10.2헬스케어
10.3교육
10.4어반컴퓨팅과스마트시티
10.5에지컴퓨팅과사물인터넷
10.6블록체인
10.75G모바일네트워크

11장.요약과전망

부록A데이터보호에관한법률
A.1유럽연합에서의데이터보호
A.2미국에서의데이터보호
A.3중국에서의데이터보호

◈이책에서다루는내용◈

여러데이터소유자가모두훈련에사용할각자의로컬데이터를비공개로유지하며함께협력해서로공유하는예측모델을훈련시키고이용하려면어떻게해야할까?전통적인머신러닝방식에서는모든데이터를한곳에,보통데이터센터에모아야한다.그러면자연히사용자의개인정보보호와데이터기밀유지에관한법률을위반할소지가다분하다.오늘날세계곳곳에서는테크기업들에게사용자데이터를개인정보보호법에따라신중하게취급할것을요구한다.유럽연합의일반데이터보호규정(GDPR,GeneralDataProtectionRegulation)이대표적인예다.
이책에서는연합머신러닝을이용해이러한문제를어떻게해결하는지설명한다.분산머신러닝,암호화및보안,경제원리와게임이론에근거한인센티브메커니즘설계를결합한새로운해결책을제시한다.여러유형의프라이버시보전머신러닝솔루션과각각의기술배경을설명하고,대표적인실제적용사례를살펴본다.연합학습이어떻게책임있는AI개발및응용에대한기술적,사회적요구에부응하는차세대머신러닝의밑거름이될수있는지알아본다.

◈이책의대상독자◈

연합학습입문서로,컴퓨터과학과AI,ML분야의학생들,그리고빅데이터및AI애플리케이션개발자들을대상으로한다.학부고학년부터대학원학생들과교수,대학및연구기관에있는연구자들까지유용하게읽을수있을것이다.법률이나정책담당기관,정부부처에서일하는이들에게도빅데이터및AI와관련된법적문제에대한참고서가될수있다.강의용으로는대학원세미나과정의교재나연합학습문헌에대한참고서로사용할만하다.

◈옮긴이의말◈

지금옆에놓여있는스마트폰에서연합학습이수행중일수도있겠다.연합학습이란훈련데이터를한데모으지않고협력적으로수행하는머신러닝기술로,구글에서2016년에「FederatedLearning:StrategiesforImprovingCommunicationEfficiency」라는논문을발표하면서하나의용어로자리잡혔다.연합학습은기존의머신러닝기술이지닌한계를넘어컴퓨팅자원소모의분산,프라이버시보호,개인맞춤형학습등을실현할수있는대안으로주목받으며구글,애플,IBM등의거대기업을비롯해많은테크기업에서연구를진행중이다.이에발맞춰국내에서도네이버,카카오S,KT등여러기업에서연구개발을진행하고있으며학계에서도연구는물론이고학회강좌등을통해기술전파에힘쓰고있다.
이책은직접연합학습프레임워크를개발한저자들이기존의머신러닝기술에익숙한개발자,연구자에게연합학습분야의연구동향을두루정리해서알려준다.연합학습이발전해온전반적인흐름이나관련개념을익히는데는알맞으나실습위주의머신러닝실용서는아니며한분야를깊이다루고있지않다.이책을시작점으로삼아전체적인지형도를파악한다음,이를발판으로좀더구체적으로관심있는분야로나아가면좋으리라생각한다.실제로연합학습을구현해보려면저자들이참여한페드(AIFedAI)그룹의페이트(FATE)를비롯해텐서플로페더레이티드(TensorflowFederated),IBM페더레이티드러닝(FederatedLearning),인텔의오픈(FLOpenFL),엔비디아(NVIDIA)의클라라(Clara),오픈마인드(OpenMined)의파이시프트(PySyft)등여러오픈소스연합학습프레임워크가나와있으므로개발환경이나성향에따라선택해사용해보길바란다.
이책은우리말로연합학습을처음소개하는책이라서그만큼책임을느낀다.기존의머신러닝개념에더해분산학습까지고려해야하는연합학습의특성상일반개발자나사용자로서는연합학습에접근하기가더어려운것이사실이다.아무쪼록이책이독자분들이연합학습에다가가는데도움이되기를소망한다.