시스템 에러: 빅테크 시대의 윤리학

시스템 에러: 빅테크 시대의 윤리학

$20.97
Description
빅테크의 논리 뒤에 가려진 인간의 자리를 질문하다
스탠퍼드가 미래의 리더들을 위해 준비한 화제의 인문학 강의
“일단 결과를 만들어내고 용서는 나중에 구하라.” 실리콘밸리 기술 전문가들의 마인드를 대표하는 문장이다. 애플, 구글, 아마존 같은 빅테크들은 기술이 모든 문제를 해결하는 전능한 해법이라고 믿으며, ‘디지털 광고 클릭 수’, ‘유튜브 재생 시간’ 같은 측정할 수 있는 목표를 달성하기 위해 매진한다. 이러한 기술만능주의는 산업 현장뿐 아니라 캠퍼스에도 만연하다. 매년 실리콘밸리로 배출되는 많은 인재들의 관심은 기술을 통해 ‘해결하고 싶은 문제’가 아니라 오직 창업뿐이다. 각각 철학, 컴퓨터과학, 정치학을 가르치는 세 명의 스탠퍼드 교수는 이 같은 현실이 무언가 단단히 잘못되었다는 것을 느끼고, 기술 시대의 인문학적 논점을 다루는 새로운 강의를 만들었다.

〈뉴욕타임스〉, 〈뉴요커〉, 〈더네이션〉 등의 주요 매체가 이 강의를 초기부터 주목했고 기술의 미래를 기술자, 벤처투자가, 정치인들에게만 맡겨서는 안 된다는 문제의식이 이 책 《시스템 에러》의 출간으로 이어졌다. 세 저자는 윤리적, 기술적, 정책적 측면에서 디지털 시대의 당면한 쟁점들을 다각도로 논의한다. 그들의 이야기를 따라가다 보면 측정할 수 없는 중요한 가치들을 기술에 어떻게 반영해야 하는지, 기술의 편향을 해결하기 위한 엔지니어들의 현실적 전략은 무엇인지, 민주주의는 이러한 문제들에 어떠한 답을 줄 수 있는지, 기술혁명의 최전선에서 이뤄지고 있는 담론을 두루 살필 수 있다. 기술에 지배당하는 삶이 아니라, 우리가 기술을 통제하기 위해 알아야 할 시민 교양이다.
저자

롭라이히

RobReich
스탠퍼드대학교정치학교수이자사회윤리센터를책임지고있는철학자이다.같은대학인간중심인공지능연구소의부소장으로윤리와기술의교차점에서파생되는문제를탐구하는선구적인사상가이다.뛰어난강의로스탠퍼드에서가장우수한교직원에게수여하는월터J.고어즈상을비롯해여러상을수상했다.세계적인기부캠페인기빙튜즈데이(#GivingTuesday)창설을도왔으며이사회의장으로재임하고있다.

목차

추천의말
머리말
서장ㆍ기술을지배하는규칙은누가만드는가

1부기술자들의시대
1장ㆍ최적화사고방식으로무장한사람들
소이렌트이야기:모든것을최적화해야할까?|엔지니어의사고방식|효율의결점|굿하트의법칙:숫자로말할수없는것들|가치중립적인기술이란없다
2장ㆍ해커와벤처투자가의잘못된만남
엔지니어,고삐를거머쥐다|벤처투자가와엔지니어로이루어진생태계|OKR:유튜브를오래시청하는사람이행복한것일까?|유니콘사냥|새로운세대의벤처투자가|법규에굴복할생각이없는자들
3장ㆍ파괴적혁신과민주주의
최악의산업재해:혁신과규제의대립|혁신이민주주의를능가한다는허구|테크노크라시,플라톤이말하는철인왕의조건|우리가가진공통의불안|방호벽으로서의민주주의

2부빅테크,혁신의배신
4장ㆍ누구의편도아닌줄알았던알고리즘
학습하는기계의시대|공정성을어떻게정의해야할까?|알고리즘이판사보다낫다는생각|정확성과유효성|자동화시스템을속일수있는인간|알고리즘을어떻게통제하는가|‘블랙박스’를열다
5장ㆍ한번의클릭으로우리는무엇을포기했나
나도모르는또다른내가존재한다|디지털팬옵티콘:사라진사생활|종단간암호화:팬옵티콘에서디지털블랙아웃으로|기술만으로는우리를구할수없다|시장도믿을수없다|개인정보보호의역설|사회의이익을위한개인정보보호|GDPR:디지털시대의권리장전|우리의목적지
6장ㆍ자동화의그늘,기술적실업이라는질병의탄생
악귀를조심하라|인간보다똑똑한기계의등장?|자동화는인류에게좋은것인가|경험기계:우리는환상속에사는것이아니다|인간빈곤으로부터의대탈출|자유는당신에게어떤가치를갖는가|적응의비용|절대자동화하지말아야할것|인간이자리할곳은어디일까?|남겨진이들을위한자리
7장ㆍ표현의자유와민주주의사이의저울질
표현과잉의결과|표현의자유가인간존엄성과충돌할때|온라인발언의오프라인피해는무엇일까?|인공지능은콘텐츠의맥락을파악할수있을까?|페이스북의‘대법원’?|자율규제너머로|플랫폼면책의미래|경쟁의여지를마련하다

3부시스템리부팅
8장ㆍ민주주의가답할수있는것들
그래서내가할수있는일은무엇일까?|나만이아닌우리|시스템리부팅|해를주는어떠한것도멀리하겠노라|새로운형태의저항|기술이우리를지배하기전에

감사의말
미주

출판사 서평

빅테크의논리뒤에가려진인간의자리를질문하다
스탠퍼드가미래의리더들을위해준비한화제의인문학강의

★기술시대혁신가들의‘히포크라테스선서’가되어줄책
★〈월스트리트저널〉〈뉴욕타임스〉〈파이낸셜타임스〉〈퍼블리셔스위클리〉추천
★넷플릭스CEO리드헤이스팅스,인공지능최고석학페이페이리교수의찬사

“일단결과를만들어내고용서는나중에구하라.”실리콘밸리기술전문가들의마인드를대표하는문장이다.애플,구글,아마존같은빅테크들은기술이모든문제를해결하는전능한해법이라고믿으며,‘디지털광고클릭수’,‘유튜브재생시간’같은측정할수있는목표를달성하기위해매진한다.이러한기술만능주의는산업현장뿐아니라캠퍼스에도만연하다.매년실리콘밸리로배출되는많은인재들의관심은기술을통해‘해결하고싶은문제’가아니라오직창업뿐이다.
각각철학,컴퓨터과학,정치학을가르치는세명의스탠퍼드교수는이같은현실이무언가단단히잘못되었다는것을느끼고,기술시대의인문학적논점을다루는새로운강의를만들었다.그들은학생들이코드를만들면서내리는결정이수백만명의삶을좌우할수도있다는점을깨닫길바랐다.〈뉴욕타임스〉,〈뉴요커〉,〈더네이션〉등의주요매체가이강의를초기부터주목했고기술의미래를기술자,벤처투자가,정치인들에게만맡겨서는안된다는문제의식이이책《시스템에러》의출간으로이어졌다.이이야기를더많은이들에게전해달라는요청에따라강의는점차캠퍼스밖으로퍼져나갔다.실리콘밸리의엔지니어와벤처투자가를대상으로한공개강의를시작으로세사람은포드재단과퓨리서치센터등각종연구기관에서빅테크의논리뒤에가려진인간적가치와기술의미래에관한이야기를나누고있다.
세저자는디지털시대의당면한쟁점들을윤리적,기술적,정책적측면에서다각도로논의한다.그들의이야기를따라가다보면측정할수없는중요한가치들을기술에어떻게반영해야하는지,기술의편향을해결하기위한엔지니어들의현실적전략은무엇인지,민주주의는이러한문제들에어떠한답을줄수있는지,기술혁명의최전선에서이뤄지고있는담론을두루살필수있다.기술에지배당하는삶이아니라,우리가기술을통제하기위해알아야할시민교양이다.

“기술의미래를엔지니어,벤처투자가,정치인들에게만맡겨서는안된다!”
빅테크시대인문학의역할과우리가할수있는일들

여기스탠퍼드를거쳐간두명의프로그래머가있다.한사람은소수가정보를독점해서는안되며,기술은모두를위해사용되어야한다고생각했다.그는RSS와레딧을개발했고크리에티브커먼즈의발판을마련했으며,학자들이생산한지식에누구나접근가능해야한다는생각으로MIT의네트워크를해킹해논문을공개했다.각종소송에휘말리던그는자살로생을마감했다.다른한사람은주차위반딱지에이의를제기하는프로그램을만들어큰금액의투자를받고회사를창업해CEO가되었다.그가의도하지않았지만,이프로그램은불법주차예방효과를줄이는데일조하고말았다.
지금스탠퍼드캠퍼스를거니는학생들은이둘중누구의이름을기억하고있을까?애석하게도학생들에게영웅으로떠받들어지는인물은획기적인기술로스타트업을창업해순식간에부를쌓은CEO들이다.학생들이누구의이름을기억하는가의문제는현재스탠퍼드,그리고실리콘밸리스타트업의사고방식을단적으로보여주는이야기다.성공한엔지니어들은그들스스로가벤처투자가가되어유니콘기업을발굴하기위해나서며,정치에도영향력을뻗치기시작했다.이러한흐름이바로스탠퍼드의세석학이미래의혁신가들에게윤리학을가르치려고결심하게된배경이다.
기술시대의윤리는단지한개인에게더나은사람이되라고요구하는것이아니다.저자들은히포크라테스선서를하는의료인을예로들며,기술과학자에게도일련의규범이필요하다고말한다.직업적으로타인에게해를끼치지않고,모두에게이익이될수있는방향을고민해야하는것이다.게다가기술이사회에미치는광범한영향력을생각한다면우리는더나은제도와정책을설계하기위해서노력해야만한다.자율주행차로인해일자리를잃은트럭운전사가무슨일을할수있을까?일개시민이플랫폼에넘쳐나는허위정보에대항해무슨일을할수있을까?이것이기술시대의시민으로서우리가무엇을해야하고,왜해야하는지생각해야만하는이유이다.

‘좋은기술vs나쁜기술’의구도를넘어서는담론의확장
인간을위한테크놀로지,최선의선택은무엇인가

많은사람이기술을가치중립적이라고생각한다.그러나기술은다양한가치관을반영하고있다.기술을개발하고그규칙을정하는사람들이여러가치관중에서무엇을우선할지결정하게된다.기술자들이우선하는가치는바로‘효율성’이다.‘소이렌트’의개발스토리가대표적인예시다.소이렌트는식사대용으로먹을수있는분말형영양보충제다.소이렌트를개발한엔지니어인롭라인하트는음식을먹는데드는시간과비용이모두비효율적이라고생각했다.그러나정작우리가음식을통해서얻는미각의즐거움과친교의기회는고려하지않았다.이러한기술자들의사고방식을‘최적화사고방식’이라고하는데,최적화사고방식이지배적인위치를점하고보편적인것이되어갈때사회곳곳에서개인의행복과민주사회의건전성을저해하는여러문제가발생한다.
빅테크기업들은‘블리츠스케일링’,‘OKR’등의도구를이용해그들이목표로정한지표를달성하기위해최선을다한다.구글은사람들이더오랫동안유튜브를시청하는것을목표로삼고,초과달성을이뤄냈다.하지만아이들이추천알고리즘을따라끝없이이어지는동영상을보거나,선정적인내용이가득한영상을추천받는것이과연바람직한일일까?《시스템에러》는이같은질문들을계속해던지면서지금우리에게무슨일이벌어지고있는지,불과몇년전에는생각해보지않았던이질문들이얼마나시급한문제인지이야기한다.
책의1부〈기술자들의시대〉에서는기술자들의최적화사고방식과자본가의욕망그리고소수기업의독점이만나어떤문제를일으켰는지그곤경의근원을설명하고,2부〈빅테크,혁신의배신〉에서는마냥좋은것이라고만생각했던첨단기술의결과물인인공지능,소셜미디어의알고리즘,자율주행차,안면인식같은기술이우리의삶속에얼마나깊숙이침투해있으며,그과정에서우리가어떤인간적가치들을상실했는지짚어본다.마지막3부〈시스템리부팅〉에서는민주주의라는구체적솔루션을가지고빅테크의지배에서벗어나기술의통제권을되찾기위해우리가할수있는일들을제안한다.

‘효율’과‘최적화’의추구는어떻게사회를위협하고있는가
디지털대전환의시대에기술의현재와전망을살피다

20세기가경제와금융의시대였다면21세기는엔지니어링과컴퓨터공학의시대다.인간의삶에영향을미치지않는기술은존재하지않게되었다.많은기술기업이사용자의개인정보를수집해수익을올리는구조이다.우리는거의매순간을추적당하는삶을살고있다.저자들은이같은상황을18세기철학자인제러미벤담이제안한‘팬옵티콘’(죄수를효과적으로감시할목적으로고안한원형감옥)에비유하며,우리가디지털팬옵티콘에살고있는것이아닌지의문을가져야한다고경고한다.
기술발전에따라여러가치가상충하지만,대표적인것이개인정보문제이다.기술기업의데이터수집은과거의수준을훨씬뛰어넘는다.인터넷상의클릭이나검색기록은빙산의일각이고우리는스스로깨닫지못한채음성인식,안면인식,생체인식,위치추적등을허용하고있다.하지만우리는여기서딜레마에직면한다.우리가제공하는정보들은분명사적인정보이지만,미래에여러사람을구할의료데이터나맞춤형서비스의편의성을높이는데이용될수있다.개인정보보호가반드시필요한경우와모두의안전과편의를위해기꺼이타협해야하는상황은언제인지,충분한사회적논의가필요한상황이다.세저자는‘익명화’,‘차등정보보호’등의기술적해법과그한계를살펴보고,정책적대안이될수있는유럽의개인정보보호규정(GDPR)과캘리포니아소비자개인정보보호법(CCPA)을소개하며나아가야할방향을제시한다.
이밖에도아마존의채용시스템을비롯한다양한알고리즘의편향문제를(4장),자동화로인한실업의최근데이터를살펴보며우리가마주하게될미래를(6장),온라인발언의검열과허위정보를퍼뜨리려는세력이사회·정치영역에미치는파장을(7장)이야기하면서이사회가해결해야할주요한문제들을탐구한다.지금같은기술발전속도에서는우리모두가기술전문가가되어그작동방식을이해할수없다.따라서우리는최신기술에뒤처질것을염려하는것이아니라,기술혁신이우리에게새로운선택을요구할때상충하는가치들속에서어떤선택을내릴지미리고민해야한다.

시스템리부팅을위한실질적솔루션
빅테크의지배에서우리를구하고민주주의를재건할방법

최근들어시민과정치인모두가빅테크의거대해진권력을우려하고있다.빅테크는전통적인제조업과달리더많은사람이서비스를이용할수록그가치가커지는‘네트워크효과’에의해시장지배력을키워왔다.빅테크가얻은힘은그들스스로만들어낸결과가아니다.따라서그들은반드시공익과사회에미칠파장을고려해야한다.빅테크기업은공개적으로는새로운법규를받아들이고대중의숙고를환영하는것처럼보이지만,막후에서는새로운규제가자신들에게피해가되지않도록대대적인로비를벌이고있는실정이다.
이책의저자중한명인롭라이히는몇년전,소규모만찬에초대받아“과학과기술발전을극대화하는새로운국가가탄생한다면”이라는주제로열띤토론을나누었다.롭이손을들고새로운국가의통치체제는어떤것이어야하느냐고물었다.곧장누군가가민주주의는아니라고대답했다.그자리에참석한기술자와교수,벤처투자가들은과학의발전을위해민주주의는너무느리고제약이많다고생각했다.이는기술계의혁신가들이세상에서가장큰권력을지니게된시점에우리가가장경계해야하는모습이다.
기술전문가들이우리를통치하기를바라는가?아니면민주적제도를통해우리가기술을통제하기를원하는가?기술의미래를엔지니어,벤처투자가,정치인들손에맡긴다면우리사회를지탱하는공정성,자율성,평등,민주주의같은이상들은위태로워질것이다.세저자는“시스템적인사안에는시스템전체를아우르는해법이필요하다”고말하며,정부의영역이자집단적행동의영역에서이문제를다뤄야한다고강조한다.소수기업의독점을막는정책적대안을준비하고,우리가선출한정치지도자들이지금가장중요한기술적현안에어떤입장인지알아야하며,그결과가마음에들지않을때는투표로서응답해야한다고말이다.이것이바로민주주의의역할이다.그러나민주주의가제역할을하도록만드는것은우리의몫이다.민주국가의시민으로서우리가가진힘을어떻게행사할지,디지털혁명을어떻게인간을위한방향으로전환할수있을지고민해야할때이다.이책은‘기술이우리사회를어떻게바꾸어야하는가’라는어려운문제의결정권을우리가가져야한다고주장하며,디지털시대의시민들을준비시킨다.