AI의 광기, 통제 불가능한 미래가 온다

조광현

저자:조광현
애경산업,블리자드엔터테인먼트코리아,(주)우아한형제들(배달의민족)등에서15년이상PR·마케팅커뮤니케이션업무를담당하며전문경력을쌓아왔다.
2017년을기점으로블록체인과인공지능(AI)등신기술분야로관심을넓히며공학박사를취득하고기술과인간의접점을탐구하는연구자이자사업가로활동하고있다.
현재동국대학교일반대학원핀테크·블록체인학과대우교수,(주)포블게이트최고연구책임자,씨앤씨파트너스대표를맡고있으며디지털경제의혁신과인간중심기술발전을위한다양한연구와사업을병행하고있다.
이외에NH농협디지털트랜스포메이션특별과정,동국대학교경영전문대학원핀테크·블록체인융합산업최고위과정등에서강의를진행했으며서울경제진흥원핀테크·블록체인기술사업화지원사업평가위원으로활동한바있다.

CHAPTER01AI의위험한진화
국가및정부차원의위협12
기업및금융부문에서의위협26
개인및가정에서의위협38
AI신흥범죄50

CHAPTER02AI기술의그늘
AI기술의한계와위험성62
AI가만드는사회적변화와부작용81

CHAPTER03AI규제와국가별대응
미국_시장중심의유연한규제모델117
유럽연합_강력한법적규제도입123
중국_강력한국가통제기반의수직적규제129
주요국의AI규제현황:일본,캐나다,영국,호주,싱가포르,브라질,인도136
CHAPTER04한국의AI정책및규제
AI기본법_한국AI규제의핵심프레임워크145
한국의글로벌AIG3도약을위한정책비전151
AI윤리국가표준과국가거버넌스158

CHAPTER05미래정부의역할
AI리터러시교육166
AI관련법적제도정비179
공공-민간협력강화181
국제협력과표준화184

CHAPTER06미래사회의모습인류와AI의공존
AI가재구성할미래도시192
AI와인간195
AI와미래직업202

바야흐로AI의시대다.인터넷이인간의연결방식을바꾸고스마트폰이일상을재편했던것처럼AI는이제인간사회의근본적인질서를뒤흔들고있다.AI는단순한기술혁신이아니다.AI는인간이살아가는방식자체를바꾸고있으며그변화의속도는우리가따라잡을수없을만큼빠르게진행되고있다.

이제AI는더이상인간을돕는역할에머무르지않는다.AI는소프트웨어개발,자율주행,금융분석,제조업자동화를넘어인간의사고과정과의사결정구조까지침범하고있다.스스로판단하고예측하며결정을내리는기술로진화하고있는것이다.법률적판단을대신하고,금융시장을분석하며,정밀한의료진단까지내리는AI의등장은그동안인간만의영역이라여겨졌던전문직조차위협하고있다.

특히머지않아AGI가현실화되면AI는인류의역할자체를재정의할것이다.단순반복노동뿐만아니라고도의분석과판단이요구되는영역에서도AI가인간을압도하는순간인간의개입이필요없는사회가될가능성도배제할수없다.그렇게되면인간은‘사고하는존재’로서의독점적지위를잃게되고AI와공존하기위한새로운가치와역할을찾아야하는상황에놓이게될것이다.

AI가인류의통제범위를벗어나면인공지능은더이상인간이설계한질서안에서작동하지않을수도있다.이에대해각계전문가들은이미강한경고를보내고있다.2024년노벨물리학상공동수상자인제프리에버레스트힌턴교수와노벨화학상공동수상자인데미스허사비스구글딥마인드CEO는스웨덴스톡홀름왕립과학한림원기자회견등공식석상에서“초지능AI(ASI)가우리예상보다훨씬빠르게등장할것”이며“우리는그AI를통제할수있을지심각하게고민해야한다”고경고했다.

AI는양날의검이다.AI기술은질병을조기에발견하거나도시의교통시스템을최적화하고산업전반의생산성을극대화하는등사회전반에긍정적인변화를가져오고있다.하지만그이면에는더욱교묘하고정교해진기술이허위정보를생산하고인간의신뢰체계를무너뜨리며사회적갈등을증폭시키는불편한현실도함께존재한다.특히AI알고리즘이정치적여론을조작하고혐오사상을확산시키며인간사회의균형을보이지않는방식으로뒤흔들고있다는사실은심각한경고신호다.

지난2019년독일에서발생했던AI음성사기사건은AI기술이인간의신뢰체계를얼마나쉽게무너뜨릴수있는지를보여준대표적인사례다.당시범죄자들은AI기반음성복제기술로CEO의목소리를완벽히재현해해당기업직원에게22만유로를부정송금하도록지시했다.피해자는뒤늦게목소리가조작된것임을알았지만돈은이미사라진뒤였다.더욱두려운사실은이사건이벌써6년전의일이라는점이다.그사이AI기술은상상을뛰어넘는속도로진화했다.앞으로진짜와가짜의경계는더욱흐려질것이며이는사회전반의신뢰를뒤흔드는중대한위협으로다가올것이다.

AI가우리의삶속으로깊숙이침투할수록그이면에는새로운위험과윤리적과제가필연적으로따라붙는다.AI채용시스템은부당한차별을야기하고금융알고리즘은특정집단에불리한결정을내리며의료진단에서는데이터편향으로인한오류사례가잇따르고있다.이제우리는‘AI는언제나객관적이고공정하다’는믿음이과연타당한지,그리고그판단이인간의가치를얼마나충분히반영하고있는지에대한근본적인질문을던져야한다.

무엇보다AI의위험성은우리가AI를통제하지못하는순간극대화될것이다.AI는데이터를학습하며스스로진화하며때로는인간조차이해할수없는방식으로결정을내린다.만약금융,의료,법률처럼인간의생명과재산이직결되는분야에서AI의판단이오류를범한다면과연그책임은누구에게있는가?AI를설계한개발자인가,그것을활용한기업인가,아니면정책을만든입안자인가?아니면이제독립적인판단능력을지닌존재로진화한AI그자체에게책임을물어야할것인가?

워렌버핏은AI를“핵무기와같은기술”이라고표현하며그잠재적위력을경고했다.통제불능의AI는돌이킬수없는재앙으로이어질수있다는것이다.또한미국루이빌대학교(UniversityofLouisville)사이버보안연구소소장로만얌폴스키교수는“향후100년내로AI가인류를파괴할확률이99.9%”라고단언하며AI위협이더이상공상과학이아닌현실에근접했다고주장했다.

이제AI와인간이어떤관계를맺어야할지근본적질문을마주해야할시점이다.AI가인간을보조하는역할을넘어인간을대체하는방향으로발전하고있다면우리는AI의사용범위를어디까지허용해야하는가?AI가스스로사고하고판단하는수준에도달했을때인간과AI의관계를어떻게정립할것인가?

이책은AI와인류의공존에대한본질적인질문을던지며독자들에게깊은고민거리를안겨줄것이다.이책을통해우리가마주한AI시대의본질적문제를파헤치고인간이나아가야할방향을함께모색할기회를마련하고자한다.우리는AI를통제함과동시에그것과협력해더나은미래를함께만들어갈책임이있다.