◈이책에서다루는내용◈
◆과학적방법을사용한종합대조실험을통해가설평가
◆주요메트릭및전반적인평가기준정의
◆결과의신뢰도를검증하고,실험자들에게위배된가정에대한경고제공
◆실험결과의빠른해석과반복실험
◆주요사업목표를보호하기위한가드레일구축
◆실험의한계비용을0에가깝게낮추는확장가능한플랫폼구축
◆이월효과,트위먼의법칙,심슨의역설,네트워크상호작용과같은흔한실수피하기
◆일반적인가정위반을포함해통계문제처리이해
◈이책의구성◈
1부는배경에상관없이모든사람이읽을수있도록설계됐으며,총4장으로구성돼있다.
1장에서는온라인종합대조실험실행의이점을간략히설명하고실험용어를소개한다.
2장에서는예를들어엔드-투-엔드로실험을실행하는과정을살펴본다.
3장에서는일반적인함정및실험신뢰도구축방법을설명한다.
4장에서는실험플랫폼을구축하고온라인실험을확장하기위해필요한사항을개략적으로설명한다.
2부에서5부까지는필요에따라모든사람이이용할수있지만,각장은특정청중에초점을두고작성됐다.2부에는조직지표와같은펀더멘털에관한5개의장들이포함돼있다.2부에서는특히리더와임원모두에게권장되는내용을다룬다.
3부의2개장은리더,데이터과학자,엔지니어,분석가,제품관리자들이온라인종합대조실험을보완하는기법을소개한다.이기법은자원및시간을투자할때,유용한지침으로사용될수있을것이다.
4부는실험플랫폼구축에중점을두고엔지니어를대상으로설명한다.
마지막으로,5부에서는고급분석주제를파고들어데이터과학자를대상으로한다.
○추천글
"조직이지속적으로더나은결정을내리기를원하십니까?이책은디지털시대에서데이터기반으로의사결정을할수있도록돕는바이블입니다.이책을읽는것은아마존,구글,링크드인,마이크로소프트내부의회의에참석하는것과같습니다.저자들은세계에서가장성공적인기업들이의사결정을내리는방법을처음으로공개합니다.일반비즈니스서적에서볼수있는지침이나일화이외에도,데이터에기반한의사결정을위해무엇을어떻게잘해야하는지를보여줍니다.이책은비즈니스리더,엔지니어,데이터분석가를위한디지털세계의의사결정매뉴얼입니다."-스콧쿡(인튜이트창립자·집행위원회회장)
IT서비스에서프로덕트를성장시키고,사용자를더잘이해하고자한다면실험이필수적이고,신뢰성있는실험을통해올바른결론을얻는것이중요합니다.하지만실제현업에서신뢰성있는실험을하기란쉽지않습니다.실험에대한조직구성원들의이해,실험진행을기술적으로뒷받침할수있는실험플랫폼,데이터와지표의신뢰성등많은요소를갖추고있어야신뢰성있는실험을진행할수있습니다.
이책은신뢰성있는온라인종합대조실험을진행하기위해알아야할항목들을많은사례와함께설명합니다.주로실험의진행과정이나통계및기술적인측면을다루지만,실험을잘진행하기위한조직과문화적인부분도함께다룹니다.개인적으로이책에수록된마이크로소프트빙과링크드인등의실제사례에서많은도움을받았는데,이사례들을바탕으로현업에서의시행착오를많이줄일수있었습니다.실험을더잘하고자하거나실험을통해서비스를성장시키고싶은모든분께이책을추천드립니다.-허성연
"과거20년동안기술산업은과학자들이수세기동안알고있었던것을학습해왔는데,그것은바로종합대조실험이복잡한현상을이해하고매우어려운문제를해결하기위한최고의도구중하나라는것입니다.종합대조실험을설계하고,규모에맞게실행하고,그결과를해석할수있는능력은현대첨단기술기업이어떻게운영되는지보여주는토대입니다.저자들은세계에서가장강력한실험플랫폼들을설계하고구현했습니다.이책은이러한도구와기술을사용하는방법에대한경험을통해배울수있는좋은기회입니다."-케빈스콧(마이크로소프트최고기술책임자)
"이책은제품기능,프로젝트효율성또는매출을최적화하기위해온라인종합대조실험을사용하고자하는경영진,리더,연구원또는엔지니어에게유용한자료입니다.코하비의연구가빙과마이크로소프트에미치는영향을직접알고있었기에그의배움이이제더많은청중에게전달될수있게돼기쁩니다."-해리셤(마이크로소프트글로벌수석부사장,IEEE펠로우,ACM펠로우)
"린(lean)방법론의핵심에는가설생성,실험실행,데이터수집,통찰력과가설의검증과수정과같은과학적방법론이있습니다.A/B테스트는검증가능하고반복가능한실험을설계하는표준이며,이책은이를위한훌륭한교과서입니다."-스티븐블랭크(대학교의겸임교수,현대기업가정
신의아버지,『기업창업가매뉴얼』과『FourStepstotheEpiphany(깨달음을향한4단계)』의저자)
"엄밀하면서도접근하기쉬운훌륭한책입니다.독자들은인터넷제품개발에혁명을일으킨신뢰도높은온라인종합대조실험을조직에가져오는방법을배우게될것입니다."-애덤단젤로(쿼라Quora의공동설립자이자CEO,페이스북의전CTO)
"여러회사가온라인실험과A/B테스트를사용해제품을개선하는방법을한눈에알아볼수있는훌륭한책입니다.저자들은풍부한경험과훌륭한조언을하고자수년동안배운많은실전사례와교훈을이책에담았습니다."-제프딘(구글선임연구원및구글리서치상무)
"온라인종합대조실험은강력한도구입니다.온라인종합대조실험이어떻게작동하고,강점이무엇이고,어떻게최적화될수있는지를이해하는것은전문가와많은청중모두에게도움이될것입니다.이책은기술적으로권위있으면서도읽기쉽고,매우중요한문제를다루는세상에많지않은책입니다."-존P.A(이오아니디스의학과보건연구정책학교수,스탠포드대학교의생물의학데이터과학및통계학과)
○역자후기
이책은빙(Bing)에서의광고페이지속한줄의변화로전체매출의10%를향상시킨놀라운사례로시작한다.단순한A/B테스트의기술서가아닌마이크로소프트,구글,링크드인에서수년간온라인종합대조실험을주도했던저자들의경험과교훈을공유하는책이다.
숫자를얻는것은쉽다.하지만믿을수있는숫자를얻는것은어렵다.실험결과를단순한숫자로얻는것이아니라믿을수있는숫자를얻을수있도록신뢰도높은온라인종합대조실험을설계하고,A/B테스트를사용해혁신을가속화하는방법에대해이야기하고있다.저자들은현재연간20,000건이상의종합대조실험을실행하는각기업에서의경험을바탕으로학생과업계전문가가실험을시작할수있도록예시,빠지기쉬운실수및조언을공유하고있을뿐만아니라데이터기반의사결정방식을개선하고자하는숙련된실무자들에게도도움될심화주제에대해서도깊이있게논의한다.
온라인종합대조실험인A/B테스트는2000년중반부터시작된테크기업들의문화적혁신,예를들면에릭리스의린스타트업(LeanStartup)및MVP(최소기능제품)의개념과그맥을같이한다.기능또는서비스의작은변화를지속적으로온라인에서테스트하면서조금씩기능또는서비스를개선한다.A/B테스트는과거의설계-개발-테스트-배포의상품개발이3년의주기에걸쳐진행되던행태를해방시켜이제는빠르게기능또는서비스를출시하고이를지속적으로테스트해고객과실시간으로소통할수있도록한다.또한이러한점에서A/B테스트는개인화된서비스를중시하는여러분야에서전통적인설문조사나시장조사를탈피해실제상황에서고객의취향을가장잘반영하는서비스와추천을가장효율적으로달성시킬수있는방법이기도하다.
A/B테스트의기능중가장중요한것은한꺼번에모든것을테스트하는것이아니라조금씩테스트하는것이다.통제된상황에서이를실행하는데,이는온라인상의통제이므로실제상황을반영하는통제이다.따라서연관분석(예를들어장바구니분석)에서와같이상관관계를발견하는것을넘어서원인과결과를밝히는설명력이가능한인과성을발견하고자하는것이주된목적이다.(그래서그테스트대상은작은무엇인가가될것이다.)이러한발견은보다설명력이있기때문에테스트의승자가상품또는서비스의개선을위해큰신뢰도로강건하게도입될수있는것이다.이에대한많은예제가이책에담겨있으니독자들은이를즐기기를바란다.
○론코하비(지은이)의말
아마존과마이크로소프트(Ron),구글(Diane),마이크로소프트와링크드인(Ya)에서수십년동안온라인종합대조실험(onlinecontrolledexperiment)을여러규모로실행해온경험에서얻은실질적인교훈을공유하는것이이책의목표다.구글,링크드인또는마이크로소프트의담당자가아닌한개인으로써이책을집필하는동안,수년간에걸쳐마주했던중요한교훈과함정을뽑아,HiPPO(HighestPaidPerson'sOpinion,최고보수를받는자의의견),즉최고경영자의의견에의존하는것이아니라그들에게정보를제공하는데이터기반문화를구축하기위해소프트웨어플랫폼과기업문화측면모두에대한지침을제공하고자한다.이러한많은교훈이온라인환경,대기업또는중소기업,심지어회사내의팀과조직에도적용된다고믿으며,우리모두는실험결과의신뢰도를평가할필요가있다고생각한다.흥미로워보이거나다르게보이는어떤수치는대체로틀린다.독자들이다시한번결과를확인하고,특히획기적이고긍정적인결과를위해유효성검사를실행하도록장려한다.숫자를얻는것은쉽지만,믿을수있는숫자를얻는것은어렵다.
