A/B 테스트 (신뢰할 수 있는 온라인 종합 대조 실험)

론코하비,다이앤탕,야쉬

RonKohavi
에어비앤비의상무이사이자기술펠로우이다.이책은마이크로소프트의기술펠로우이자본사상무이사로있을때쓴것으로,그이전에는아마존의데이터마이닝및개인화책임자였다.스탠포드대학교에서컴퓨터과학박사학위를받았다.그의논문은40,000개이상의인용됐으며,그중3개가컴퓨터과학에서가장많이인용된상위1,000개의논문에속한다.

1부.모두를위한입문주제
1장.소개와동기
2장.실험의실행과분석-엔드-투-엔드예제
3장.트위먼의법칙과실험의신뢰도
4장.실험플랫폼과문화

2부모두를위해선택된주제
5장.속도의중요성:엔드-투-엔드사례연구
6장.조직운영을위한지표
7장.실험을위한지표와종합평가기준
8장.제도적기억과메타분석
9장.종합대조실험의윤리

3부종합대조실험에대한보완및대체기법들
10장.보완기법들
11장.관측인과연구

4부실험플랫폼구축을위한고급주제
12장.클라이언트측실험
13장.계측
14장.랜덤화단위선택
15장.실험노출증가시키기:속도,품질및위험의트레이드오프
16장.실험분석확장

5부실험분석을위한고급주제
17장.온라인종합대조실험에사용되는통계이론
18장.분산추정및민감도개선:함정및해결책
19장.A/A테스트
20장.민감도향상을위한트리거링
21장.샘플비율불일치및기타신뢰관련가드레일지표
22장.실험간의누출및간섭
23장.장기실험효과측정

◈이책에서다루는내용◈

◆과학적방법을사용한종합대조실험을통해가설평가
◆주요메트릭및전반적인평가기준정의
◆결과의신뢰도를검증하고,실험자들에게위배된가정에대한경고제공
◆실험결과의빠른해석과반복실험
◆주요사업목표를보호하기위한가드레일구축
◆실험의한계비용을0에가깝게낮추는확장가능한플랫폼구축
◆이월효과,트위먼의법칙,심슨의역설,네트워크상호작용과같은흔한실수피하기
◆일반적인가정위반을포함해통계문제처리이해

◈이책의구성◈

1부는배경에상관없이모든사람이읽을수있도록설계됐으며,총4장으로구성돼있다.
1장에서는온라인종합대조실험실행의이점을간략히설명하고실험용어를소개한다.
2장에서는예를들어엔드-투-엔드로실험을실행하는과정을살펴본다.
3장에서는일반적인함정및실험신뢰도구축방법을설명한다.
4장에서는실험플랫폼을구축하고온라인실험을확장하기위해필요한사항을개략적으로설명한다.
2부에서5부까지는필요에따라모든사람이이용할수있지만,각장은특정청중에초점을두고작성됐다.2부에는조직지표와같은펀더멘털에관한5개의장들이포함돼있다.2부에서는특히리더와임원모두에게권장되는내용을다룬다.
3부의2개장은리더,데이터과학자,엔지니어,분석가,제품관리자들이온라인종합대조실험을보완하는기법을소개한다.이기법은자원및시간을투자할때,유용한지침으로사용될수있을것이다.
4부는실험플랫폼구축에중점을두고엔지니어를대상으로설명한다.
마지막으로,5부에서는고급분석주제를파고들어데이터과학자를대상으로한다.

◈옮긴이의말◈

이책은빙(Bing)에서의광고페이지속한줄의변화로전체매출의10%를향상시킨놀라운사례로시작한다.단순한A/B테스트의기술서가아닌마이크로소프트,구글,링크드인에서수년간온라인종합대조실험을주도했던저자들의경험과교훈을공유하는책이다.
숫자를얻는것은쉽다.하지만믿을수있는숫자를얻는것은어렵다.실험결과를단순한숫자로얻는것이아니라믿을수있는숫자를얻을수있도록신뢰도높은온라인종합대조실험을설계하고,A/B테스트를사용해혁신을가속화하는방법에대해이야기하고있다.저자들은현재연간20,000건이상의종합대조실험을실행하는각기업에서의경험을바탕으로학생과업계전문가가실험을시작할수있도록예시,빠지기쉬운실수및조언을공유하고있을뿐만아니라데이터기반의사결정방식을개선하고자하는숙련된실무자들에게도도움될심화주제에대해서도깊이있게논의한다.
온라인종합대조실험인A/B테스트는2000년중반부터시작된테크기업들의문화적혁신,예를들면에릭리스의린스타트업(LeanStartup)및MVP(최소기능제품)의개념과그맥을같이한다.기능또는서비스의작은변화를지속적으로온라인에서테스트하면서조금씩기능또는서비스를개선한다.A/B테스트는과거의설계-개발-테스트-배포의상품개발이3년의주기에걸쳐진행되던행태를해방시켜이제는빠르게기능또는서비스를출시하고이를지속적으로테스트해고객과실시간으로소통할수있도록한다.또한이러한점에서A/B테스트는개인화된서비스를중시하는여러분야에서전통적인설문조사나시장조사를탈피해실제상황에서고객의취향을가장잘반영하는서비스와추천을가장효율적으로달성시킬수있는방법이기도하다.
A/B테스트의기능중가장중요한것은한꺼번에모든것을테스트하는것이아니라조금씩테스트하는것이다.통제된상황에서이를실행하는데,이는온라인상의통제이므로실제상황을반영하는통제이다.따라서연관분석(예를들어장바구니분석)에서와같이상관관계를발견하는것을넘어서원인과결과를밝히는설명력이가능한인과성을발견하고자하는것이주된목적이다.(그래서그테스트대상은작은무엇인가가될것이다.)이러한발견은보다설명력이있기때문에테스트의승자가상품또는서비스의개선을위해큰신뢰도로강건하게도입될수있는것이다.이에대한많은예제가이책에담겨있으니독자들은이를즐기기를바란다.