신호와 소음 : 불확실성 시대, 미래를 포착하는 예측의 비밀 (개정판)

신호와 소음 : 불확실성 시대, 미래를 포착하는 예측의 비밀 (개정판)

$31.99
Description
돌아온 예측 천재의 ‘더 정확한 예측을 위한 제안’
2012년 미국 대선에서 오바마가 승리한 직후, 정치 예측 블로그 파이브서티에이트FiveThirtyEight.com를 운영하는 네이트 실버의 화제작 《신호와 소음》은 일약 베스트셀러로 떠오른다. 통계와 확률의 세계를 파고들어 미래예측의 패러다임을 뒤흔든 이 책에서, 네이트 실버는 데이터가 폭발적으로 늘어나고 소음으로 가득한 이 세상에서 진짜 신호를 가려내는 방법을 다양한 분야에서 탐사한다.
수많은 사람이 갖가지 예측을 쏟아놓지만, 이들 예측 대다수는 사회에 엄청난 비용만 안긴 채 실패로 돌아간다. 이유는 간단하다. 우리 대다수가 확률과 불확실성을 제대로 이해하지 못하기 때문이다. 인간은 신호를 포착하려고 애쓰지만 ‘자신감 넘치는 예측’을 ‘더 정확한 예측’으로 착각한다. 하지만 때로 자기과신은 실패의 원인이 된다. 불확실성을 지금보다 더 온전하게 이해한다면, 우리의 예측은 한결 정확해질 것이다. 족집게 같은 예측을 선보이며 ‘예측의 천재’로 급부상한 네이트 실버도 2016년 트럼프의 대선 승리로 그 명성이 한차례 흔들렸다. 힐러리를 공개 지지하던 실버는 타 매체나 조사기관에 비해 트럼프의 당선 가능성을 상대적으로 높게(28.6%) 예측하며 끊임없이 ‘트럼프가 판을 뒤집을 가능성’을 경고했으나 극적인 반전을 결정적으로 내다보지는 못했다. 이번 개정판의 서문에는 당시의 과정과 더불어 본격적인 팬데믹의 시기에 예측 전문가로서 갖는 소회와 성찰, 각오가 드러나 있다.
2020년에 이르러 전 세계를 휩쓴 코로나19 팬데믹을 목도하며, 실버는 다시 한번 뼈아프게 《신호와 소음》 초판에 담았던 예의 질문을 던진다. “전문가의 예측은 왜 이토록 자주 빗나가며, 어떻게 하면 좀 더 신뢰할 수 있는 예측이 가능할까?” 이어 개정판 서문을 통해 ‘좀 더 나은 확률적 사고’에 필요한 것으로 ‘느리게 생각하기thinking slow’와 ‘대세 편승을 경계하기’라는 두 가지 역량을 꼽는다. 예측은 역설적이다. 자신의 예측 능력을 겸손하게 생각하면 할수록, 그리고 자기가 저지르는 실수에서 기꺼이 더 많은 것을 배우려는 마음먹을수록, 더 많은 정보를 지식으로 바꿀 수 있고 우리 손에 있는 데이터는 미래를 내다보는 통찰로 바뀔 것이라고 네이트 실버는 다시 한번 강조한다.

분명하게 밝히지만 내가 이 책에서 주장하려는 것은 누군가가 나서서 코로나19가 전 세계적인 팬데믹 재앙이 될 것임을 여러 달 전에 예측했어야 한다거나 트럼프의 승리가 확실하다고 예측했어야 한다는 게 아니다. 매우 중요한 결과가 빚어질 일들이 일어날 가능성이 상당히 높은데도 이런 리스크들이 거의 대부분 무시되고 만다는 것이 내가 주장하려는 점이다. 이렇게 되는 이유가 뭘까?

저자

네이트실버

저자:네이트실버NateSilver
왜어떤예측은빗나가는데
그의예측은적중하는가
《패스트컴퍼니》선정
‘가장창조적인인물1위’
《타임스》선정
‘전세계에서가장영향력있는100인’
네이트실버는시카고대학교에서경제학을전공한뒤2002년회계컨설팅회사KPMG에입사했다.그는곧엉뚱한일을벌이기시작했는데,자신이좋아하는메이저리그야구선수의성적을예측하는시스템인페코타PECOTA를개발한것이다.놀라운적중률로명성을얻은실버는카지노에서통계확률기법을전략적으로이용해단번에1만5천달러를따고회사를그만뒀다.이후포커판에서수십만달러를긁어모으고는,그동안쌓인통계학과예측의노하우를활용해2008년,정치예측블로그파이브서티에이트FiveThirtyEight.com를개설했다.
《뉴욕타임스》의자매블로그가된파이브서티에이트는2008년대선에서미국의50개주중49개주의결과를정확히예측했고,총선에서도상원당선자35명전원의당선결과를맞혔다.이때문에네이트실버는하루아침에인지도가급상승했고,많은사람들이그의예측에주목하기시작했다.2012년미국대선에서는그가블로그에글을올릴때마다공화당과민주당이비중있는논평을내놓기에바빴다.오바마와롬니가박빙으로경쟁하는와중에첫후보간토론회가열렸고뒤이어여론조사기관대부분이롬니의승리를예측했다.그러나실버는오바마의승리를점쳤고,결과는이번에도50개주의결과를모두맞힌그의승리로끝났다.그해대선직전에자신의통계학과예측철학을담아출간한《신호와소음》역시《뉴욕타임스》15주연속베스트셀러에오르고아마존논픽션부문‘올해의책’에선정되는등슈퍼베스트셀러가되었다.
그결과네이트실버와함께일하려는매체들의경쟁이치열해졌고그는2013년에결국《뉴욕타임스》고위층의만류에도불구하고ESPN으로소속을옮겼다.그는현재ESPN뿐만아니라자매채널인ABC에서정치,경제,스포츠등여러분야에서자신만의‘예측비법’을펼쳐나가고있으며,정치인과경제전문가를비롯해많은사람들이그의예측하나하나에귀를기울이고있다.

역자:이경식

목차

|추천사|여기에당신의미래가보인다_송길영
|개정서문|더나은확률적사고를위한두가지제안
필수지만어려운일,‘느리게생각하기’|대세편승을경계하라
|들어가며|신호와소음
정보폭발의빛과그림자|컴퓨터시대의‘생산성역설’|빅데이터시대의약속과함정|왜미래는늘우리를놀래는가|예측을위한해법|우리가다룰것들

Ⅰ.예측에대한근본적인의문들
1.금융위기│경제붕괴를둘러싼예측의대실패
불행에관한최악의예측|“그들은음악이멈추길바라지않았던거죠”|신용평가사들이일을제대로망친방법|1막:주택거품,내집을둘러싼환상|2막:레버리지,하우스푸어를양산하다|인터미션:‘공포’는‘탐욕’의새이름|3막:파멸,새로운상황이펼쳐지다|네가지예측실패의공통점|실패한예측의공식:표본외예측의문제|무엇을배울수있을까

2.정치│내가선거결과를맞힌비법
정치학자들은TV에나오는전문가패널들보다나을까?|더나은예측을위한올바른태도:여우가돼라|왜고슴도치는TV패널로더환영받을까?|엉터리예측이횡행하는이유|정치예측에뛰어들다|여우의원칙1:확률적으로생각하라|여우의원칙2:날마다새로운예측을하라|여우의원칙3:합의를구하라|‘마법의탄환’식예측을믿지마라|질적정보에가중치를두는방법|객관적이되기는쉽지않다

3.야구│야구경기는왜모든‘예측’의모델이되는가
야구예측시스템을구축하다|세상에서가장풍성한데이터세트|노화곡선:그선수는언제까지뛸수있을까|‘계산기’와‘직감’의싸움|페코타대스카우터:스카우터승|보이지않는요소|빨리달리고세게던진다고이기는건아니다|게임의이름은‘정보’|페드로이아의미래가어두웠던이유|그리고그는어떻게역경을이겨냈나|머니볼의진정한교훈과야구의미래

Ⅱ.움직이는과녁을맞혀라!
4.기상│예측의성공스토리,기상예보의진전
슈퍼컴퓨터는정말쓸모가있을까|기상예보의아주간략한역사|매트릭스,새로운기상예측법의탄생|토네이도와농구선수의공통점|사람의눈은아직중요하다|기상청의성공과민간업체의도전|더나은예측은어떻게만들어지는가?|경쟁이예측을더엉망으로만들때|오차보정이필요한순간|태풍의눈과카오스의원뿔

5.지진│필사적으로,신호를찾아서
발밑이흔들릴때우리가하는일|마법의두꺼비와성배찾기|지진은어떻게움직이는가:멱법칙분포|소음속에서우리를유혹하는신호|실패한예측의행진|진퇴양난|과적합에주목하라|동일본대지진은과적합의대표사례|우리는지진에관해어디까지알수있을까|신호와소음이빚어내는아름다움|과학은언제나시험중이다

6.경제예측│불확실성,변동성,편향에대처하는법
불확실성에관해얘기해야하는이유|경제학자들은이성적인가?|“그누구도단서를가지고있지않습니다”|인과관계없는상관관계|경제예측은움직이는표적을맞히는문제|소음투성이경제데이터|나비효과|편향이합리적선택일때|편향에대처하는두가지대안

7.전염병│모든모델은빗나가지만몇몇모델은유용하다
‘신종플루대실패’의후속편인가?|외삽이위험해질때|자기충족적예측과자기부정적예측|‘정교한’단순함|심플루SimFlu|예측이빗나갈수밖에없을때해야할일

Ⅲ.예측의질을높여미래를포착하는법
8.베이즈정리│조금씩조금씩덜틀리는법
이기는도박꾼은어떻게베팅하는가|토머스베이즈의별난유산|확률과진보|베이즈정리의간단한수학|거짓양성문제|빈도주의가베이즈주의를반박하다|맥락없는데이터는무용지물이다|베이즈주의도박사,밥|진리로수렴하는베이즈주의

9.체스│컴퓨터가인간처럼미래를내다볼수있을까
체스를두는컴퓨터|체스,예측,그리고휴리스틱|카스파로프와딥블루|게임이시작되다|체스선수의딜레마:폭이냐깊이냐|전략대전술|종말의첫조짐|기계가인간을이기다|체스고수를버벅거리게만드는법|버그일까,비장의무기일까?|컴퓨터가잘하는것|구글검색엔진:대규모시행착오가가능할때|기술의사각지대를넘어서

10.포커│상대의허풍을간파하는법
포커드림의시작|패읽기의기술|확률적으로사고하라|슈뢰딩거의포커패|상대를혼란스럽게하는법|예측의파레토법칙|고수와호구:포커거품의경제학|거품이꺼지다|운이냐실력이냐|착각의늪|우리가평정심을잃는이유|결과보다과정에초점을맞춰라

Ⅳ.보이지않는손이세상을움직인다
11.주식│개인이결코시장을이길수없다면
웰컴투베이즈랜드|베이즈주의의‘보이지않는손’|예측시장:힐러리주식을사고팔다|집단예측의이점과한계|효율적시장가설의기원|“과거의수익률은미래의결과와무관합니다”|차트를믿지마세요|효율적시장가설의세형태:약형,준강형,강형|효율적시장가설의통계검정|효율적시장이비이성적과열을만나다|대세편승|왜우리는다른사람을따르는가?|자기과신과승자의저주|왜거품은쉽게꺼지지않을까|가격은옳지않다|소음트레이더|착시와패턴|인지적지름길|질서와무질서의투쟁

12.지구온난화│건강한회의론의풍토가필요하다
인과관계를찾아서|온실효과는존재한다|“로켓공학처럼복잡한얘기가아니라고요”|세가지회의론|지구온난화예측에관한예측가비평|모든기후학자들이동의하는것|컴퓨터예측모델을의심하다|기후과학과복잡성|모델은얼마만큼복잡해야할까?|기후예측의불확실성요소세가지|관측과기록|‘뜨거운여름’이올것입니다|불확실성은예측의본질이다|‘지구냉각화’가알려주는것|예측과과학은긴밀하게연결된다|기온기록에관한불편한진실|불확실성추정이필수인또한가지이유|“우리는길거리패싸움중입니다”|과학과정치사이에서

13.테러│진주만공습과9·11테러의공통점
신호는있었지만무엇을뜻하는지몰랐다|‘낯선것’과‘있을법하지않은것’|9·11테러는‘알려진미지’였을까?|엄청난대규모공격|테러의수학:멱법칙분포|테러를정의하고측정하다|진도9짜리테러|테러에관해‘크게생각하기’|왜쇼핑몰은공격하지않을까|테러예방을위한이스라엘의전략|테러리스트의신호를읽는법

|나가며|예측은어떻게가능한가
확률적사고:베이즈주의에익숙해지기|출발점을인식하고편견을줄여나가라|시도하고,실수하라|예측가능성에대한인식
|옮긴이의말|세상을바라보는새로운눈
|주석|

출판사 서평

정치,경제,스포츠,기후,전쟁,테러,전염병,도박…
소음이가득한세상에서의미있는신호를찾아라
경제위기대처에서질병퇴치역량의확보에이르기까지,이제모든것은미래를얼마나정확하게예측할수있느냐,즉예측의질이얼마나향상될수있느냐에달려있다.삶의속도가점점빨라지고예상을뛰어넘는사건이늘어날수록우리는예전보다더자주,더신속하게계획과전략을세워야한다.
네이트실버는‘더나은’즉더정확한예측을한사람들에게공통으로나타나는요소를파악하기위해국립기상연구소에서메이저리그야구장으로,포커판에서주식시장으로,국회의사당에서NBA경기장으로다양한분야를누비며예측의성공사례뿐아니라실패사례까지찾아간다.이책을쓰기위해노벨경제학상수상자조지애컬로프,래리서머스전재무장관,도널드럼스펠드전국방장관등미국을움직이는리더들을인터뷰했고,프로도박사나스카우터.,기상예보관,전염병전문가등의전문인들을심도있게취재했으며,관련분야논문과기사들을샅샅이찾아공부했다(엄청난분량의주註를참고하기바란다).

COVID-19팬데믹,2016년미국대선에서우리가놓친것은무엇인가?
지구온난화와기상이변같은21세기의과제를확률적사고로해결할수있을까?
프로스포츠와포커판의예측고수들에게어떤예측기술을배울수있을까?
주식이나부동산시장에서거품은왜그렇게잘깨지지않는가?

각분야의선구자들이남긴혁신의성과가설혹미미하더라도우리는그들이구사한방법론들로부터많은것을얻을수있다.어떻게하면확률적으로생각하는법을익힐수있을까?베이즈라는18세기영국인의통찰을응용해서지구온난화와기상이변같은21세기의과제를해결할수있을까?미래에대해서더많이알게되면,현재의의사결정을더현명하게할수있을까?

움직이는과녁을맞히는예측의과학과기술
“수많은예측이실패하는데왜어떤예측은적중할까?”날마다엄청난데이터가생성되는‘빅데이터’시대에왜많은예측이그토록심하게빗나갈까?‘빅데이터시대’를맞아인류는엄청난양의데이터와맞닥뜨렸지만,그만큼쓸모없는‘소음’도어마어마하게많아졌기때문이다.《신호와소음:불확실성시대,미래를포착하는예측의비밀》에서말하는데이터분석의관건이란,이‘소음’들을효과적으로제거해의미있는‘신호’를찾아내는것이다.책은크게두부분으로나뉜다.1부와2부에서는예측에따르는문제를진단하고,3부와4부에서는베이즈주의적해법을적용하고탐구한다.
1부에서는최근의금융위기를둘러싼예측의실패,야구분야의예측성공,접근방법론에따라예측의성공과실패가갈리는정치분야를다룬다.‘예측’에내재하는가장근본적인몇가지의문을깊이탐구한다.
2부에서는기상변화,지진예측,경제동향,전염병확산등을둘러싸고몇가지역동적체계를하나씩들여다본다.내로라하는과학자들이오랜시간에걸쳐이체계들을연구하고있지만,체계자체가역동적인까닭에예측은한층어렵고까다롭다.그런만큼이들분야에서예측이언제나잘맞을수는없다.
3부에서는통계확률기법을이용한해결책에주목한다.네이트실버가신호와소음을구분하기위해사용하는도구중가장중요한것은통계학의‘베이즈정리(Bayes’stheorem)’다.이는사전확률을도출한뒤새정보가나오면가장가능성있는것을골라적용해사후확률을개선해나가는방법이다.베이즈정리를활용해서승승장구하는프로스포츠도박사를소개하는데이어체스와포커게임을다룬다.스포츠와게임은명확한규칙을따른다는점에서우리의여러예측기술을검증하는실험실역할을톡톡히해낸다.우리는이들분야를통해무작위성과불확실성을좀더온전하게이해하고,정보를지식으로변환하는방식도통찰할수있을것이다.
4부에서는베이즈정리를좀더실존적인유형의문제에적용하여지구온난화,테러,금융시장거품문제를다룬다.이들은사회전체에위협적인과제임은물론예측전문가들에게는까다로운과제다.해결방법이전혀없지는않다.이같은과제에기꺼이맞설각오가서있기만하다면,우리가사는나라와우리의경제권그리고우리의지구는지금보다한층안전한곳이될수있다.
이책은네이트실버의예측철학과기법을보여줌과동시에불확실한미래를어떻게받아들이고대응해야하는지에대해깊은성찰을던져준다.세상의지각변동을가져오는모든요소를시시각각눈여겨보는오피니언리더와끝없이시장과소비자의욕망을예측해야하는기업가는물론,사회변동에깊은관심을가진독자,‘빅데이터’시대의실상과그에맞춰‘살아남는’법에관심있는모든사람에게유용한지침서가될것이다.

미래예측의패러다임을바꾼핵심적통찰
실버는한분야를파면서세부사항은무시한채큰아이디어를추구하는사람보다는여러분야의지식을아우르며다양한시도를하는사람,실수를인정하는자아비판이가능하며복잡한상황과정보를잘견디고조심스러우면서이론보다는실제관찰을중시하는사람이더‘나은’예측을한다고말한다.
미래예측은마술같은방식으로이루어지지않는다.저자는,우선손에넣을수있는정보나대다수사람이경험을통해도출해낸공동의결론,상식등을이용해신중하게예측한뒤그결론의불완전성을인정한채로천천히작더라도새로운정보를모아야한다고말한다.이어서그것이진실을담은신호인지의미없는소음인지구별하고이를바탕으로예측의진위를평가해야한다.예측할수없는것이존재함을인정하는겸손함과예측할수있는것을예측하는용기,그리고그차이를아는지혜가필요하다.
때로예측에서중요한것은절대적정확성이아니라‘경쟁속에서의상대적정확성’이다.경쟁은더나은예측의필수요소다.그러나예측하는이가그릇된목적을추구한다면예측은오히려경쟁때문에빗나가버리거나심지어처참한결과를낳기도한다.예측가스스로가아직은자신이초보적인수준이며예측이위험한과학이라는사실을정확하게인식할때좀더정확한예측이나온다.예측가의동기는정치적인목적이아니라진리추구이며,이들은진리에조금이라도더가까이다가가게해주는수많은세부사항을안다.이런태도를가질때예측가는비로소소음에서신호를가려낼수있다.