사이언스 픽션 (과학은 어떻게 추락하는가)

스튜어트리치

StuartRitche

심리학자이자과학커뮤니케이터,오픈사이언스운동의열혈지지자.과학의잘못된관행을개혁하고,과학자들이연구결과를발표할때더욱투명해지도록돕는도구를개발했다.2015년에는심리과학협회에서‘라이징스타RisingStar상’을수상했다.영국의킹스칼리지런던King'sCollegeLondon의사회,유전및발달정신과센터에서강의하고있다.에딘버러대학교에서인간지능에대해박사후과정을밟았고,인간지능과뇌가어떤관련이있는지,뇌가유전의영향을받는지,교육과같은외부요인에의해뇌가얼마나향상될수있는지에대해연구한다.구글학술검색에등록된그의피인용횟수는7,327회에달하고h-지수는41,i10-지수는78이다.

서문_과학은사회적활동이자인간의실수를드러내는도구

제1부_픽션을닮은과학
제1장_과학은어떻게작동하는가
논문출판과동료평가의세계
과학은사회적활동이다
제2장_반복재현의위기-과학의위기를자초한학자들
짐바르도와밀그램의실험
과학의위기
과학계를위협하는불확실성
출판된논문이거짓으로판명되다

제2부_실수와오류를은폐하는학자들의속마음
제3장_조작-논문사기가만들어낸새로운진실
최악의과학사기사건-파올로마키아리니의인공기관지이식
놀랍도록간단한과학사기-조작
얼마나많은논문이철회되는가
측정오차와샘플링오류
과학사기가어려울까,진짜연구가어려울까
과학계에서얼마나많은조작이이뤄지는가
과학사기꾼들의프로필
무엇이조작을하게만드는가
논문조작의파급효과
과학사기의패착,신뢰를무너뜨리다
제4장_편향-실패한실험결과가사라지다
확률과p-값
출판편향과메타분석
p-해킹
데이터오버피팅과결과스위칭
이해충돌,선한의도편향-과학의사회정치적성격
새뮤얼모턴과스티븐제이굴드의반전
편향이라는인간의본성
제5장_부주의-통계에감춰진명백한실수들
통계불일치와불가능한계산값
모든숫자에는노이즈가포함돼있다-무작위화의실패
오류를알면서도공유하는환경
연구설계의기본원칙-무작위화와블라인딩
통계적검정력
통계적검정력이후속연구에미치는영향
낮은통계적검정력의위험성-후보유전자의사례
과학의역할에관한고찰
제6장_과장-그들의언어를알면진실이보인다
과장보도자료
대중과학서적의함정
과장으로넘치는과학저널
마이크로바이옴의속사정
우리가먹는모든것이암과관련이있는가-영양학의진실
예상치못한결과를처리하는방식

제3부_잃어버린과학의정신을되찾는길
제7장_비뚤어진인센티브-논문대량생산의시대
출판물과연구지원금과고용기준
살라미슬라이싱현상과미끼저널
h-지수와자기인용,자기표절
수단이목표가되면길을잃고만다-굿하트의법칙
나쁜과학의자연선택
‘발표하지않으면사라진다’는논문발표시스템
제8장_과학을고치기위한시작
모든연구에는오류가있다
재현연구의투고-통계적유의성에대해편견없이판단하기
p-값을없애면모든문제가사라질까
다중우주분석의보완-연구사전등록제도
모두가자유롭게참여하는과학-오픈사이언스
저널출판시스템의변화-사전인쇄
건강한과학커뮤니티를만드는데필요한연구성과평가제도
유레카에대한환상-학문은원래지루한법이다
과학의진짜위기는따로있다-과학자와회의주의자

에필로그_우리에게필요한것은진리다
감사의글
부록_학술논문읽는법

“과장은했지만허위는아니다?”
학문윤리와연구윤리에관한적나라한고발과반성

유명인들의허위경력기재나논문표절은심심하면사회적이슈가되는드물지않은문제다.그만큼많은사람들에게학문에대한도덕불감증이심각한현실이다.
영국의심리학자스튜어트리치는신간《사이언스픽션》에서전세계적으로학계내부에만연한기준미달의연구와불량논문에대한실태를파악하고낱낱이내부고발한다.학자들의“그릇된‘탐구욕’이어떻게‘탐욕’이되는가?”를추적하는이책은대학생,대학원생,교수등연구를하거나논문을쓰는사람이라면누구나읽어야할필독서다.

“우리는과학이라는도구를옳게쓰고있는가”
연구와논문,저널을둘러싼나쁜과학의현주소를고발하다
2018년,프랜시스아널드캘리포니아공대교수는생명체의화학반응에서촉매역할이되는효소단백질의인공개량법을개발한공로로노벨화학상을받았다.2년뒤그는세계적인과학전문학술지〈사이언스〉에실린자신의효소관련논문을철회한다고발표했다.〈사이언스〉는아널드교수의연구결과가재현되지않을뿐만아니라논문의제1저자가연구노트의일부를누락했다는것을이유로들었다.다행스럽게도그는자신의논문철회를인정하며공개적으로사과하는메시지를전달했다.
2012년〈플로스원(PLOSONE)〉에발표된자료에따르면,1928년부터2011년사이에철회된논문이4,449개에이른다고한다.간단히살펴보면그중의심스러운데이터/해석이42퍼센트,데이터조작같은연구부정행위에따른철회비율이20퍼센트에달한다.문제는시간이갈수록각종저널에발표된논문중철회되는논문의수가증가하고있다는점이다.
이러한추세를반영하듯논문철회와관련된정보를공개하고각과학자들의논문철회횟수를기준으로순위를발표하는‘리트랙션워치(retractionwatch)’라는웹사이트도등장해과학계에대한자성의목소리를높이고있다.해당사이트에서는일종의역노벨상후보를발표하듯논문철회횟수를기준으로순위를발표한다.놀랍게도모든철회논문중25퍼센트가단지2퍼센트의과학자들이발표한논문이라고한다.
물론‘모든숫자에는노이즈가포함돼있다’는자연의법칙처럼어떤연구자든논문이든오류를피할수는없다.프라이밍현상에대한실험(대니얼카너먼),파워포즈이론(에이미커디),스탠퍼드감옥실험(필립짐바르도),권위에대한복종실험(스탠리밀그램),인공기관지이식에관한연구와수술(파올로마키아리니),인간배아복제실험(황우석),만능줄기세포(오보카타하루코)등이대표적이다.
대중과학을비롯해최신연구에관심있는사람이라면누구라도알만한과학자들이발표한논문중에도실수나과장된자료들이포함돼학계를혼란스럽게만든사례는이제너무나흔한일이다.문제는이러한과학계의현실을어떻게받아들이고과학연구를검증하는시스템이지닌단점을어떻게보완해나갈것인가하는점이다.바로그런질문과함께과학계의현주소를《사이언스픽션》에서만날수있다.

과학자에게너무당연해서잊힌명제
“재현되지않으면과학이아니다!”
과학자는세상모든현상에대한체계적지식을위해연구한다.그들은자신의연구에대한신뢰도와검정력을확보해주는다양한실험과데이터를토대로결과를도출해논문을쓴다.해당연구를논문에발표하려면동료평가과정을거쳐야한다.이때동료평가자들은논문에조작·편향·부주의한실수·과장은없는지,연구에등장하는실험이재현가능한지(replicability)등을검증한다.
“우리자신이관찰한것조차도반복관찰되거나엄격한테스트를통과하기전까지는새로운발견이라거나과학적관찰이라고받아들여서는안된다.”
이렇게과학철학자칼포퍼가말했듯,반복재현되지않는실험연구는진정한과학이라할수없기때문이다.
논문이동료평가를통과하면과학전문학술지〈사이언스〉와〈네이처〉를비롯해전세계수많은학회에서발행하는저널의편집자들이저널에논문을실어발표한다.이후논문은또다른과학자들이인용하는횟수를통해다시한번과학적지식으로서의가치를인정받는다.대표적으로구글학술검색에서과학자들의논문을검색해보면h-지수(n번인용된적이있는논문을n편보유)로해당과학자의연구성과를간접적으로확인할수있다.여기까지가논문한편이발표돼과학적지식으로거듭나는과정이다.

“수단이목표가되면길을잃고만다”
살라미슬라이싱,미끼저널,자기인용,자기표절이만든논문대량생산시대
스튜어트리치는이러한논문발표시스템이곧‘과학이사회적구조물’이라는특성을드러낸다고말한다.과학자,동료평가자,편집자,그리고조금더확장해논문을인용하려는또다른과학자까지,논문한편에연결된사람들에의해해당논문은신뢰할만한과학적지식이라는타이틀을얻는다.동시에리치는사회적구조물이라는특성이단점으로작용할수도있다고지적한다.
논문발표횟수로인센티브를제공하는학계의관행과과학자로서의명성을얻기위해나쁜연구자들이주도하는살라미슬라이싱(salamislicing),즉논문대량생산현상이대표적이다.실제로인간의23쌍염색체에대한분석결과를23개의각각의단일논문으로쪼개거나항우울제의효과를연구한후인구집단별로실험군과대조군만살짝바꿔논문을쪼개발표한사례들이등장한다.한예로,2018년에심리학자로버트스턴버그가자신이편집장으로있던〈심리과학의전망〉저널에서물러나기도했다.자신의논문을인용해저널의사설을씀으로써자신의h-지수를올렸다는것이이유다.이에스튜어트리치는“지표자체가목표가되면더이상좋은지표로서의기능을상실한다”고한굿하트의법칙이과학계에서도증명되고있는셈이라고말한다.

“연금술과미신의도구에서진실을추구하는학문으로거듭나기까지”
조작,편향성,부주의,과장으로훼손되기쉬운과학의가치를지키는법
리치는《사이언스픽션》에서과학자들을위한도덕적기준을제시함과동시에기술적기준도함께제시한다.또한그러한기준을충족시키지못한과학논문과과학자들의사례를책전반에걸쳐소개한다.과학자들이갖춰야할기준으로서1942년에사회학자로버트머튼이주창한네가지머튼규범(MertonianNorms),즉보편주의(universalism),사심없음(disinterestedness),공동체성(communality),조직적회의주의(organizedscepticism)를제시한다.이를풀어서말하면과학적지식은인종,성별,나이,성적취향,소득,사회적배경,국적등에따라차별적으로판단되거나돈,정치,이념,개인적이해,명성을위해좌우되어서는안되며,과학자들은모든지식을서로공유하되각자의주장을액면그대로받아들여서는안된다는것이다.
한편과학연구에서발생하는오류,즉의도적조작,연구자의편향,단순한부주의,연구를과장하는심리에의해철회된논문들의사례들도소개한다.리치는“왜무(無)가아니고무언가가있는걸까?”라는철학적질문을인용하며‘연구를시작하면항상무언가를발견해내는현상’이팽배한과학계의현실에대해서도문제를제기한다.대표적으로가장흔하게사용하는통계값중하나인p-값과‘통계적유의미성’이라는표현을예를들며과학연구과정과결과가연구자개인에의해얼마나좌우될수있는지를설명한다.

성과를포장해서발표한이시대의베스트셀러목록
“과연과학적으로신뢰할수있는가?”
저자는이책에서에이미커디(《자존감은어떻게시작되는가》의저자),캐럴드웩(《마인드셋》의저자),매슈워커(《우리는왜잠을자야할까》의저자),존바그(《우리가모르는사이에》의저자)등과같은대중과학베스트셀러저자들이실제연구성과를과장해발표하고있는현실을꼬집는다.정확성도떨어지고좋은내용은없다는것이그의주장이다.
리치가제시하는대안중대표적인몇가지는,연구방법의타당성이보장되는재현연구를전문으로실어주는〈플로스원〉과같은‘메가저널’,과학연구전과정에가능한한모두가참여할수있는‘오픈사이언스’연구,연구의가설을미리제출해실험의목적과결과를모두알수있도록하는‘연구사전등록제도’등이다.이러한모든과정의목적은결국진리를추구하는과학이라는도구의가치를되새기는것이기도하다.
그의주장을요약하면과학논문의반복재현위기를자초한것은과학자자신들인셈이다.과학의가치를지켜야할사람은다름아닌과학자자신이다.모든연구에오류가있고,모든데이터에노이즈가있다고하더라도학자로서의양심,동료평가라는객관적시스템을거쳐나쁜과학,나쁜연구를걸러낼때과학의가치를지켜낼수있다.

우리가그동안‘사실’이라고맹신했던과학적연구결과에대한검증을요구하는이책은잘못된연구와논문에대항할수있는최소한의무기가되어줄것이다.