- 한스 로슬링(Hans Rosling, 스웨덴 통계학자)
“앞으로 모든 산업에서 데이터가 승자와 패자를 가를 것이다.”
- 버지니아 로메티(Virginia Rometty, IBM CEO)
“인간이 1초 만에 인지할 수 있는 것들은 이제 대부분 자동화될 수 있다.”
- 앤드루 응(Andrew Ng, 미국 스탠퍼드대학 교수)
김진호
서울대학교경영대학을졸업하고미국펜실베이니아대학와튼스쿨(WhartonSchool)에서경영학석사와박사학위를받았다(통계학부전공).사회와기업의다양한문제를계량분석적으로접근하는연구를주로했으며,기업의현안을데이터분석적으로해결하면서동시에직원들의분석능력을키워주는교육프로그램을개발해여러기업에서실행했다.KBS선거예측조사자문위원을역임했으며,KBSTV특강(3회)과삼성경제연구소(SERI)에서통계관련인터넷강좌(유쾌한통계:40강좌)를오픈했다.
『주간동아』에「김진호교수의빅데이터이야기」,『동아비즈니스리뷰』에「PowerofAnalysis」라는칼럼을연재했으며,현재는『동아비즈니스리뷰』에「빅데이터리더십」을연재하고있다.2016년3월인공지능알파고와이세돌9단의대국을앞두고많은바둑혹은인공지능전문가와달리알파고가완승할것이라고예측해주목을끌었다.
세계적으로유명한분석전문가인토머스대븐포트와함께미국에서『KeepingUpWiththeQuants:YourGuidetoUnderstandingandUsingAnalytics』라는책을출간했다(HarvardBusinessReviewPress,2013).이책은일본어,중국어,스페인어로번역되었으며한국에서는김진호교수가직접번역해『말로만말고숫자를대봐』라는제목으로출간되었다.그외에저서로는『우리가정말알아야할통계상식백가지』·『괴짜통계학』·『빅데이터가만드는제4차산업혁명』·『빅데이터리더십』등이있으며,『빅데이터@워크』를우리말로옮겼다.
2015년서울과학종합대학원(aSSIST)에빅데이터MBA학과를만들었다.어시스트빅데이터MBA학과는가장많은학점(45)과과목(28)으로구성된체계적인커리큘럼을갖추고있으며,스위스로잔경영대학빅데이터MBA학위도받을수있는공동학위과정이다.현재어시스트빅데이터MBA학과주임교수겸빅데이터연구센터장을맡고있다.
머리말ㆍ5
프롤로그:장바구니를든데이터사이언티스트ㆍ16
제1장맨땅의데이터사이언티스트
데이터로커뮤니케이션하기ㆍ27
데이터의매력에빠지다ㆍ33
미용실에간데이터사이언티스트ㆍ39
제2장새로운‘업’으로이직한데이터사이언티스트
문과출신이데이터를분석하다ㆍ47
지금은잠을잘잔다ㆍ55
인생에쓸모없는우연은없다ㆍ60
웹을활용해인공지능을사용할수있다면ㆍ65
익숙하고친근하고사랑스럽기까지ㆍ70
제3장회사내빅데이터팀으로옮긴데이터사이언티스트
은행영업점직원에서데이터사이언티스트로ㆍ77
한단계진화된커머스를만들며ㆍ80
남성육아휴직으로원하던목표를이루다ㆍ84
법돌이에서데이터사이언티스트로ㆍ89
준비되었을때다가온기회ㆍ93
제4장빅데이터로따라와줘서고맙다,친구야
새로운도전을친구들과함께라면!ㆍ99
기회는자연스럽게열릴것이다ㆍ104
내가찾는분야가바로이것이다ㆍ109
나보다몇살이라도어리잖아ㆍ112
제5장벤처창업에뛰어든데이터사이언티스트
새로운도전을즐기다ㆍ117
지하매설물에서사업아이템을찾다ㆍ123
창업과학업을동시에선택하다ㆍ127
일주일에3일만일하는회사ㆍ132
제6장다양한배경의데이터사이언티스트
사람,아름다움,앎을향해서ㆍ137
빅데이터기반감사의시작ㆍ142
데이터속에서멋짐이란것이폭발한다ㆍ147
빅데이터가마련해준거대한실험장ㆍ151
간호사에서데이터사이언티스트로ㆍ156
제7장경쟁력을키우는데이터사이언티스트
내가지키고자하는신념은무엇인가ㆍㆍ163
맘데이터와빅데이터의만남ㆍ169
내가선택한길을통해새로운미래를꿈꾸며ㆍ173
새로운커리어에대한도전ㆍ177
데이터와분석역량으로무장한MDㆍ181
대의를위한빅데이터ㆍ186
중국으로간데이터사이언티스트ㆍ191
제8장IT경력자들의영역확대업그레이드
거듭난데이터사이언티스트ㆍ199
분석에대한새로운시각을키우다ㆍ204
연륜있지만꼰대같지않은ㆍ207
돌고돌아다시학교로ㆍ213
좀더인텔리전트한영역에도전하다ㆍ218
데이터전처리도커버하는데이터사이언티스트ㆍ222
평생후회가남지않도록ㆍ226
제9장미래를준비하는전문가
“바로이거다!”ㆍ233
앞으로의20년을위하여ㆍ237
이제호수를보고바다라말하지않는다ㆍ242
다음세대를위해사회에기여할수있는ㆍ246
에필로그ㆍ250
부록:어시스트빅데이터MBA학과교과과정ㆍ253
제4차산업혁명과인공지능시대
“왜데이터사이언티스트가중요한가?”
미국최대의직장평가및구인·구직서비스업체인글래스도어가발표한‘2019년미국최고의직업50’에서데이터사이언티스트(datascientist)를최고의1위직업으로선정했다.글래스도어는직업별연봉의중간값,직업만족도,구인중인일자리수등을토대로매년‘최고의직업50’을선정해왔다.미국경제지『하버드비즈니스리뷰』도21세기가장유망한직업으로데이터사이언티스트를선정했으며,미국경제지『포브스』도미래최고의직업2위로데이터사이언티스트를선정했다.미국뱁슨칼리지의석좌교수이자세계적인분석전문가인토머스대븐포트는“데이터사이언티스트는21세기가장섹시한직업”이라고말했다.그만큼데이터사이언티스트에대한수요가매우높다는것을의미한다.스웨덴통계학자인한스로슬링은“데이터는세상을들여다보는창(窓)이다”라고말하기도했다.
우리나라에서도데이터사이언티스트에대한수요는가속적으로늘어나고있는데비해공급은턱없이모자란다.그래서정부는데이터사이언티스트양성에막대한투자를하고있다.최근에대통령직속제4차산업혁명위원회는인공지능대학원6곳을신설하는등2022년까지2조2,000억원을투자해인공지능연구인력1,700명을양성할계획이라고발표했다.그렇다면데이터사이언티스트는무엇을하는사람이기에이렇게인기가있는가?
데이터사이언티스트는데이터사이언스를하는사람이다.데이터사이언스란“기업에서발생하는여러가지문제를데이터를사용해객관적이고과학적으로해결하려는활동”으로정의할수있다.제4차산업혁명시대의화두는바로데이터에바탕을둔,사실에근거한의사결정을하는것이다.따라서데이터사이언티스트는이러한시대적흐름의선두에있는추진엔진이다.다시말해“비즈니스현장에서발생하는문제들을데이터분석기술을이용해해답을찾고,이것을비즈니스에적용해서고객들에게의미있는상품이나서비스로제공함으로써기업가치를증대시키는활동”으로정의할수있다.
데이터사이언티스트가중요해진이유는우리가데이터폭증의시대를살고있기때문이다.거의모든분야에서엄청나게많은데이터가다양한형태로생성되고저장되고있다.이데이터속에는누가,어디에서,무엇을,어떻게하고있다는정보가숨어있다.이런데이터를잘정리,요약,시각화해서정보를캐내게되면무슨문제가있는지,그문제를어떻게해결할것인지에대한인사이트를얻을수있다.데이터사이언티스트가되기위해서는데이터를수집,저장,추출,가공할수있는코딩능력과이를분석해인사이트를끄집어낼수있는통계적능력이필요하다.
그뿐만아니라데이터가생성된특정한산업과업무에대해서해박한지식도필요하고,나아가서는이러한영역을모두통합해데이터분석프로젝트를의사소통과협업을통해진두지휘할수있는리더가되어야한다.따라서가장바람직한데이터사이언티스트는IT전문가보다는데이터분석을잘하고,데이터분석전문가보다는코딩을잘하면서,도메인특징을잘하는현업담당자들과의사소통과협업을통해데이터분석프로젝트를리드할수있는사람이다.
이책은20대에서60대까지다양한연령대에서각기다른배경과스토리로빅데이터나인공지능의시대를치열하게살아가는45명의솔직한모습을담아냈다.데이터사이언티스트에대해알고싶거나앞으로데이터를공부하고싶은독자들은이책을통해다음과같은사항들에대한도움을얻을수있을것이다.데이터사이언티스트는무슨일을하는가?어떤배경의사람들이왜데이터를공부하는가?그들은무엇을,어떻게공부하고있는가?그들은공부하면서어떤어려움을겪고,어떻게극복하는가?데이터사이언티스트가되기위해서는무엇을공부하고준비해야하는가?
장바구니를든데이터사이언티스트
온라인오픈마켓인11번가는‘장바구니프로젝트’를진행했다.이프로젝트는11번가에서제기되는다양한문제를데이터를이용해분석적으로해결하려는시도였다.11번가의고객들중에서는장바구니에상품을담기만하고정작구매는하지않는고객이많았다.11번가로서는장바구니결제포기가손실이아닌새로운기회가될수있었다.고객이장바구니결제를포기하는이유를잘파악하기만하면,결제방해요인을제거하고구매완료를촉진하는최선의방안을찾아낼수있었기때문이다.이런고객들이어떤사람들인지,왜구매하지않는지를분석해그들의구매를유도하는최선의방안을찾아내기위해서였다.
우선장바구니에담긴상품의구매포기와관련해서어떤연구가어떤방법으로수행되었으며어떤결과가나와있는지를파악했다.구글에서‘장바구니결제포기’를검색하면무려약77만9,000개의결과가제시된다.기존연구에서가장도움이될만한연구는세계적인소프트웨어기업인SAP가2018년에발표한아시아태평양고객소비성향보고서였다.SAP는한국의소비자1,000명을대상으로온라인쇼핑습관을조사했다.이조사에서장바구니와관련된결과는다음과같았다.첫째,장바구니에담고‘구매’클릭을결정하기까지소요되는시간에는당일(13%),1~6일(22%),일주일이상(24%),둘째,장바구니결제를항상혹은자주포기하는상품유형으로는패션(27%),금융(23%),가구(23%),셋째,장바구니결제를포기하는이유로는장바구니를다른웹사이트와가격비교목적으로사용(62%),재고부족(35%),할인또는프로모션이없음(29%)등으로나타났다.
11번가는2가지문항을새로추가해조사했다.그결과‘장바구니에상품을담는이유’는가격비교,찜하기,구매등의순서로나타났으며,‘장바구니에담긴상품구매포기이유’는가격비교로유사상품이미구매,가격부담,재고없음,깜박함등의순서였다.11번가는장바구니에담긴상품을‘깜박해서’까먹고구매하지않은고객들을목표로삼았다.상품을구매할목적으로장바구니에담았지만깜빡하고잊은고객들에게다시장바구니에담은상품을알려준다면구매를촉진할수있을것이다.따라서장바구니에상품을담아놓고도구매하지않은고객들에게그사실을알리는문자를보내면고객들은반응을보이리라고판단했다.
장바구니결제포기데이터를분석하는것은11번가가검색에서부터최종구매에이르기까지고객의결제여정을이해하고원활한고객경험을방해하는요인을개선하려는출발점이다.검색과정,특정단계완료에소요되는시간,선택되었지만삭제된상품,결제를포기하는정확한시점등결제단계에서고객행동은11번가에구매전환율을높이기위한중요한인사이트를제공한다.또한현재는가격부담과재고없음으로상품구매를포기한고객들에게적절한쿠폰을제공한다든지유사한상품을추천한다든지하는방안을실험중이다.
경쟁력을키우는데이터사이언티스트
미용그룹마니아의이사인홍수정은중국베이징대학법학과를졸업한후호텔에서직장생활을시작했다.전공과무관한서비스업에종사하게되면서데이터의중요성을몸소체험하게되었다.고객의예약상황,이전이용기록등에맞춰객실과기타서비스가제공되었고,투숙기간에있었던고객의요청사항과컴플레인에대해상세하게기록을남겨야했다.남겨진데이터는같은실수의반복을막고더나은서비스를제공할수있게했으며,고객이말하지않아도니즈를파악하고원하는서비스를제공할수있었다.
그다음직장은현재일하고있는뷰티살롱이다.법·호텔·뷰티업모두서비스업이며고객의데이터가중요한분야라는공통점을갖고있다.그런데뷰티살롱전용고객관리프로그램이이미사용되고있었지만,기능이많은것에비해정작알고싶은분석결과는볼수없었다.미용실을운영하는데도인사,교육,매장운영등다양한파트에서데이터분석을통한의사결정이이루어져야한다고생각한홍수정은현재미용실에서‘빅데이터경영’을하고있다.
안은주는국군간호사관학교에서4년간혹독한생도생활을했다.졸업후에는간호장교로12년간남들이경험하지못하는많은일을경험하며근무했다.그러고나서성신여자대학교시뮬레이션센터로이직했다.대학에서는교직원과학생의건강을관리하는센터와시뮬레이터를이용해간호대학학생들의실습을실시하는센터에서번갈아근무하고있다.빅데이터를활용해의료서비스분야에서차별적인경쟁력을갖춘다면,데이터를여러각도로분석해서쓸모있는결과를도출할수있겠다고생각했다.나이팅게일도크림전쟁당시로즈다이어그램을활용한통계를제시해야전병원에서병사들의사망률을줄일수있었다.세상을조금이라도좋은방식으로바꾸기위해서데이터를활용하는것은크림전쟁때에도,지금도,앞으로도필수라고생각하고있다.
11번가에서7~8년을상품기획자로일하고있는강윤정은플랫폼에판매자가올려놓은상품에서육성할상품을선별하고매력적으로보이도록상품페이지를제작하거나가격을정비하고행사를기획하고있다.e－커머스는가파르게성장했고,상품데이터와고객데이터가쌓여갔다.그런데최근경쟁사가많아지면서가팔랐던성장곡선이완만해졌다.e－커머스에서는고객재방문을이끌어내고,CRM을하고,마케팅을하는것이오프라인매장과는사뭇달랐다.최근까지도히트상품·베스트셀러는판매이력과상품·셀러의평판에상품기획자개인의‘감’과‘경험’이더해져서만들어졌다.이는마켓의특성,고객니즈의변화,고객유입가감,상품주기,경쟁사의변동성등생물인양살아움직이는듯한유통을만드는요소가변동적이아니라어느정도고정적이라는전제를바탕으로한다.
이제는고도화된추천로직으로대체되었고,검색어에따라나열식이었던검색결과가각소비자별로개인화한순위가제공되면서구매전환율이올라가도록바뀌었다.쇼핑의모든구성요소가소비자에따라즉각반응하는,살아움직이는유기체가되었고이에따라결과도달라지게되었다.이런시점에서단순히과거데이터만으로는소비자의다음행동을예측하기힘들어졌고,셀러들에게어떤상품을어떻게준비하고어떻게팔아야한다는컨설팅을해주기도힘들어질것같았다.그래서인간상품기획자의감과경험에상호보완적인요소로데이터사이언티스트로서기술을갖추면현재유통이원하는e－커머스상품기획자가되지않을까하고생각했다.미국아마존MD는‘데이터로무장한컨설턴트’라고불린다고도하지않은가.
미래를준비하는데이터사이언티스트
제4차산업혁명과빅데이터시대의특징은아이디어,알고리즘의로직,심지어는알고리즘의코드까지공유할정도로개방적이라는것이다.따라서어떤분야에서이룬획기적인성과는1년이내에다른곳에서재현된다.알파고가나온지1년내에알파고와대등한수준의인공지능바둑프로그램인중국의줴이(絶藝)와일본의딥젠고(DeepZenGo)가개발되었다.한국에서도알파고에관한『네이처』논문을토대로50여명의개발자가개발에매진해2018년에‘한돌(Handol)’을개발했다.‘한돌’은국내최고의기사들을상대로5연승을기록했다.
그렇다면지금시대의경쟁력은무엇일까?그답은바로분석적역량을가진전문인력을확보하려는‘보이지않는전쟁’에서찾을수있다.구글은페이스북과치열한경쟁끝에마침내딥마인드를인수하고그후1년반만에알파고를개발해인류의위대한도전이라고불리는‘바둑문제’를풀어서전세계를놀라게했다.이제데이터사이언티스트의양성은특히한국처럼인공지능분야에서선진국에비해2년정도뒤처진상황에서는,그야말로국가적인역량을결집해야할절실한문제다.또한데이터사이언티스트에대한일반인의인식,즉데이터사이언티스트가어떤일을하는사람들이며,이시대에얼마나중요한역할을하는지에대한인식을높이는것도중요하다.