AI 시대의 빅데이터 사고방식 1편 : 빅데이터 시스템과 기술편

김진철

저자:김진철
한국과학기술원(KAIST)에서물리학학사를,포항공과대학교에서인공신경망및플라즈마연구로석·박사학위를받았다.졸업후유럽입자물리학연구소(CERN)에서LHC빅데이터인프라및데이터분석기술연구에참여했다.이후한국과학기술정보연구원(KISTI),포항공과대학교,삼성SDS,SK텔레콤기업연구소를거치며대규모기계학습과클라우드컴퓨팅,지능형빅데이터분석시스템을깊이있게연구해왔다.
현재는구글의인공지능분야솔루션리드로재직중이다.기업들이고급AI및양자인공지능을비즈니스에성공적으로도입하고활용할수있도록돕는전문컨설턴트로활약하고있다.

[주요경력]
2021~현재구글,SolutionLead,MachineLearning,APAC,QuantumAIPracticeSpecialist,Korea
2013~2021SK텔레콤,수석연구원
2011~2013삼성SDS,수석보
2009~2011포항공과대학교,연구교수
2007~2009한국과학기술정보연구원,선임프로젝트연구원
2005~2007유럽입자물리학연구소(CERN),Post-doc.

2005포항공과대학교,이학박사(가속기및전산플라즈마물리학)
1999포항공과대학교,이학석사(통계및전산물리학,신경망알고리즘)
1997KAIST,이학학사(물리학)
1993서울과학고등학교(3기)

머리말
추천사
감사의글

1장빅데이터비즈니스의주요요소
빅데이터비즈니스의주요요소-데이터,인프라,조직및시스템,사람
빅데이터-실재인가,허상인가?
CERN:빅데이터의조상
빅데이터비즈니스의네가지관점:데이터,인프라,조직및시스템,사람
빅데이터활용의근본적인질문:해결하려는문제가무엇인가?
CERN이LHC를건설한이유
기술이먼저인가,비즈니스모델이먼저인가?:빅데이터비즈니스의딜레마

2장빅데이터비즈니스모델의핵심-데이터수집
빅데이터수집과정과비즈니스모델의차별화
빅데이터원천으로서의LHC가속
빅데이터비즈니스의핵심:빅데이터수집과정의차별화
빅데이터비즈니스모델프레임워크:자전거모델
CERN과LHC실험프로그램의비즈니스모델
빅데이터비즈니스모델을어떻게만들것인가?:빅데이터비즈니스의‘자전거모델’
빅데이터측정과수집의원리
LHC검출기및가속기데이터의수집과측정
빅데이터비즈니스의데이터수집과측정:수집과정과비즈니스모델과의관계
빅데이터저장과표현을위한데이터형식의중요성
LHC실험데이터가공과정과데이터형식
빅데이터수집과정에서데이터형식의중요성

3장빅데이터와AI기술
빅데이터비즈니스에서AI기술의역할과중요성
LHC실험데이터의복잡성과인공지능기술
빅데이터비즈니스에서인공지능기술이필요한이유:자동화
인간능력증강도구로서의인공지능
CERN이인공지능기술을소환한이유:2015년LHC데이터과학워크숍
빅데이터비즈니스시스템과인공지능기술의콜라보:자동화를통한인간정보처리능력의증강
딥러닝에숨겨진지식-인공지능모델의해석가능성
LHC빅데이터에서의딥러닝과인공지능기술의새로운요구사항:해석가능성
빅데이터분석에서해석가능한인공지능모델의중요성
뉴로모픽엔지니어링과인공지능가속기반도체
LHC실험과뉴로모픽엔지니어링
빅데이터비즈니스에서의새로운컴퓨터아키텍처의중요성

4장빅데이터와클라우드컴퓨팅기술
클라우드기술의시작
클라우드컴퓨팅의서막:CERN은왜클라우드컴퓨팅이필요했나?
빅데이터기술에서가장중요한것:자원이종성(heterogeneity)극복과확장성(scalability)
빅데이터자원계층문제
LHC빅데이터와LHC컴퓨팅그리드(LCG)의계층구조
빅데이터인프라구축에서의자원계층문제:빅데이터기술의시작과끝
네트워크인프라의중요성
LHGComputingGrid를위한네트워크인프라
빅데이터인프라에서네트워크인프라의중요성:자원계층문제해결및확장성확보
고성능컴퓨팅과FPGA
CMSLevel-1트리거(Trigger)와FGPA,GPU기술
빅데이터인프라,고성능컴퓨팅,재구성가능컴퓨팅(ReconfigurableComputing):스트림처리의중요성
분산컴퓨팅소프트웨어스택및미들웨어의중요성
CMS검출기에영혼을주는CMS온라인소프트웨어
빅데이터인프라를완성하는기술:빅데이터미들웨어와분산컴퓨팅소프트웨어
모니터링과운영인텔리전스
CMS온라인데이터수집시스템의모니터링문제
빅데이터시스템운영의복잡성을어떻게해결할것인가?:운영지능화(OperationIntelligence)

5장빅데이터주요기술의요건
빅데이터와병렬처리
LCG데이터병렬처리프레임워크:프루프(PROOF)
빅데이터문제해결의기본적인도구:병렬처리프레임워크
빅데이터분석플랫폼의요건
LHC실험의공식데이터분석플랫폼:루트(ROOT)
빅데이터문제해결과정을묶어주는끈:데이터분석플랫폼
대용량확장형스토리지
LHC실험의데이터그리드요구사항
LHC실험의대용량데이터스토리지기술:LCGSE,SRM,CASTOR,dCache,DPM,StoRM
LHC컴퓨팅그리드의이종데이터저장장치통합표준:SRM
빅데이터를담는그릇:대용량확장형스토리지
빅데이터가시화및큐레이션
LHC실험데이터분석에서의데이터가시화:이벤트및모니터링데이터
빅데이터:가시화와큐레이션의중요성
워크플로우엔진과관리도구
LHC컴퓨팅그리드의워크플로우관리기술
빅데이터시스템에서워크플로우관리기술의중요성

작가인터뷰

유럽입자물리학연구소(CERN)에서‘신의입자’를추적하던과학자가구글의AI리더가되어명쾌한해답을던진다.저자는AI시대기업의생존은단순히데이터를끌어모으는것이아니라,이를분석해낼탄탄한‘시스템’과‘과학적사고방식’에달려있다고단언한다.시리즈의포문을여는이책1편은클라우드컴퓨팅부터기계학습인프라까지,데이터중심조직으로거듭나기위해반드시갖춰야할기술적뼈대를치밀하게해부한다.쏟아지는데이터의홍수속에서갈길을잃고헤매는기업전략가와엔지니어들에게,이책은혁신을향한가장강력하고완벽한설계도가되어줄것이다.

책속에서

빅데이터자체가비즈니스의목적이나비즈니스모델이될수는없다.빅데이터를다루는것은데이터기반비즈니스의한단면에불과하다.빅데이터를수집하고비즈니스에맞는정보로가공하는과정에서,빅데이터를비즈니스운영조건에맞게끔신속하고빠르게처리하는시스템을갖추는과정에서비즈니스의경쟁력으로자리잡게된다.
-p.51

우리가관찰하고측정하는대상에대해잘알고있다면관찰,측정을위한데이터수집과정을이해하고데이터분석을보다정확하게할수있다.만약관찰하고측정하는대상이미지의것이고모르는것이라면,우리가가진지식을이용해서가설을세우고지식의지평선을넓혀가는과학적탐구의과정을거쳐야한다.데이터가어떻게수집되었고,데이터가뭘말하고데이터가보여주는대상의한계가어디까지인지이해하지못한상태에서수행하는데이터분석은아무의미도없다.
-p.82

데이터분석과해석을위해인공지능기술을사용할때는반드시인공지능이어떻게데이터로부터결과를냈는지그과정을사람이해석할수있어야한다.만약인공지능의추론과정을사람이해석할수없다면인공지능을통해얻은결론과통찰은인공지능에게만의미있는지식이되고정작인공지능을사용해데이터분석을한과학자에게는아무런의미없는지식이되고만다.
-p.140

빅데이터인프라의자원이종성문제와확장성문제를각조직과기업마다어떻게극복하느냐하는것이중요한경쟁력이되는가하는것은,현재성공적인빅데이터비즈니스를꾸려가는주요기업들이이런기술들을차별화된기술로서선보이는것으로살펴볼수있다.
-p.194

빅데이터시스템의궁극적인목적은빅데이터비즈니스를지원하여비즈니스의가치를높이고기업의수익을높이는것이다.빅데이터시스템이빅데이터비즈니스를효과적으로지원한다는것은빅데이터를다룸으로써인해생기는다양한문제들을해결하여빅데이터비즈니스가원활하게수행되도록지원하는것이다.
-p.263

빅데이터의큐레이션이란빅데이터중에서현재사용하고자하는목적과용도에맞게빅데이터의일부를추려내고재배치하여빅데이터가가진특정한측면과특성이잘드러나도록빅데이터를선별하고표현을바꾸는것을말한다.
-p.330

기존의시스템통합(SystemIntegration:SI)기업이나IT서비스기업들도고객에게신속하게빅데이터비즈니스시스템을구축,납품하는솔루션으로서워크플로우기술을활용해보자.빅데이터비즈니스를위한협업체계가체계적으로조직되고데이터가비즈니스가치로이어지는것을좀더쉽게확인할수있으며,빅데이터를활용하는것에더자신감을가질수있을것이다.
-p.364

데이터과학에서중요한건‘데이터’가아니라‘과학’입니다.데이터는과학적사고방식과과학적문제해결프로세스를실천하기위한도구일뿐,데이터자체가목표가되어서는안됩니다.사실과학에서는어떤분야든데이터를씁니다.자기주장을뒷받침하는근거가되기도하고,지금현상을제대로보고있는지확인하는관찰의수단이기도하니까요.
-작가인터뷰

인공지능자체만으로기업경영에큰변화를가져오기는어렵습니다.인공지능이적재적소에잘활용되어자동화가효과적으로이루어질때비로소기업이더기민해지고,비용도절감되는거예요.결국어디에인공지능을적용할지,어떤의사결정과정을어떻게효율화할지를제대로고민하는기업이앞으로시장에서살아남을가능성이높습니다.
-작가인터뷰

이책은전문적이고어려운내용을담고있습니다.주된독자층은기업에서빅데이터기반신사업을기획하고실행해야하는분들,그리고데이터엔지니어와데이터과학자들입니다.그분들이현장에서맞닥뜨리는문제들을풀어나갈때필요한순간마다꺼내볼수있는참고자료가되었으면합니다.과학을좋아하시는분들께는그냥흥미로운읽을거리로즐겨주셔도충분히가치가있습니다.어렵고낯선개념들이많이나오지만,있는그대로즐겨주시길바랍니다.
-작가인터뷰