빅 데이터가 뭐예요?

빅 데이터가 뭐예요?

$13.00
Description
아주 많은 양의 데이터, 빅 데이터!
빅 데이터를 분석하면 미래를 알 수 있다고?!
이미 아는 정보들을 잘 조합하면 아직 모르는 정보를 알 수 있어요.
데이터를 많이 모으면 모을수록 더 정확하게 미래를 예측할 수 있지요.
아주 많은 양의 데이터, 그게 바로 빅 데이터예요.
빅 데이터는 미래를 예측하는 도구랍니다!

미래, 아직 도래하지 않은 현실. 무한한 가능성의 영역이기도 하지만, 끝없는 두려움의 원인이 되기도 해요. 미래를 향한 기대와 걱정은 우리에게 큰 에너지가 되기도 하지만 거꾸로 주저하고 망설이게 만들기도 하죠. 그래서일까요? 인류의 어느 문화권을 둘러보더라도 미래를 예측해 보기 위한 노력의 흔적들을 발견할 수 있어요.
동아시아권의 사람들은 천체의 움직임 패턴을 분석하여 ‘음력’이라는 달력을 만들었고, ‘24절기’라 불리는 미래 예측의 산물을 만들어 냈어요. ‘입춘’이 되면 봄이 오고 ‘처서’가 지나면 선선해지고 ‘동지’가 오면 밤이 가장 길어지고…… 하는 24절기 말이에요.
요즘은 훨씬 더 정밀한 방식으로 미래를 예측할 수 있어요. 기상청에서는 슈퍼컴퓨터를 활용해 가까운 미래의 날씨와 기온, 풍속까지도 예측할 수 있어요. 이런 첨단 기술도 따지고 보면 “미래의 일을 알고 싶다.”라는 욕구에서 출발했다는 사실이 무척이나 재미있지 않나요?
더 재미있는 사실 하나 알려 줄까요? 실은, 조상님들이 천체를 관측하여 절기를 알아내는 과정이나, 현대의 기상청이 일기 예보를 만드는 과정은 모두 동일한 작업이에요. 바로 ‘빅 데이터’ 분석이라는 작업이랍니다. 요즘은 빅 데이터를 활용해 인간보다 더 똑똑한 인공 지능(AI)을 만들고 있기도 하죠.
대체 빅 데이터가 도대체 무엇이기에 미지로 가득한 미래를 예측하는 도구로 사용될까요? 그리고 어떤 가능성과 위험성을 가졌을까요? 〈미래를 여는 키워드〉 시리즈 일곱 번째 권, 《빅 데이터가 뭐예요?》에서 자세히 알려줄게요.
저자

반병현

50여건의논문과특허를발표한공학자이자30권이상의책을집필한작가입니다.10년가량인공지능연구를지속해오고있으며,주로기업의AI도입을도와주는일을하고있습니다.상상텃밭주식회사CTO를지냈고,현재주식회사나나컴퍼니대표이사이자치즈케익스튜디오대표자입니다.

목차

작가의말4

1장게임에서시작된통계학,빅데이터의시대로
게임에서항상이길수는없을까?……10
도박이아니라수학입니다만……13
일기예보와주사위놀이의공통점……14
미래를예측하는수학공식,베이즈정리……17
베이즈정리계산을위한재료,데이터……20
컴퓨터공학의갑작스러운발전……24

2장빅데이터가뭐예요?
어떤데이터가빅데이터일까?……32
앞으로어떤종류의빅데이터가주목받을까?……36
데이터를모으는건너무힘들어!……40
자동으로데이터를수집하는기계_스크래퍼……41
정보를손질해빅데이터완성!_프리프로세싱……44
스마트폰과SNS,전세계사람들의일상을
빅데이터로……47

3장빅데이터를모아서어디에사용할까?
빅데이터를분석하는이유는?……56
오지않은미래를예측하다_외삽……57
잃어버린정보를복구하다_내삽……60
나도몰랐던내취향을만나다_클러스터링……62
인간의직관을기계에이식하다_분류……65
온도,점수,가격까지예측하다_회귀……67
세상이변화하는패턴을발견하다_마르코프체인…69
컴퓨터에게창의성을허락하다_생성……73
합당한결론을도출하다_가설검정……77

4장빅데이터,인공지능세상을열다
베이즈정리계산을위한재료,빅데이터……80
빅데이터를대신계산해주는기계……81
기계가점점더똑똑해지는데요?……84
빅데이터를읽는‘해독기’……88
AI의판단을인간은이해하지못한다고?……89
사람보다똑똑한AI의등장……91
빅데이터의한계……95
양질의빅데이터수집방법,‘도둑질’!……100

5장위험한빅데이터
빅데이터가만드는‘보이지않는감옥’……106
내가족의비밀까지들여다본다고?……110
기업이내돈을조종한다!……112
나를세상과단절시키는‘SNS데이터’……114
인간의실수를따라하는AI……118

에필로그_식재료가중요할까,요리사가중요할까?_122

출판사 서평

사람보다똑똑한인공지능(AI)이
사실은빅데이터해독기이자계산기?
‘빅데이터’는이름그대로‘큰데이터’예요.그게빅데이터의본질이에요.생각보다단순하죠?
내일의날씨를예측하기위해서는한반도주위를둘러싼공기덩어리들이흘러가는속도와방향,수증기의양,주변의기압,최근수년간의기상변화자료등대단히많은정보,즉데이터가필요해요.데이터가많으면많을수록,더정확하게미래를예측할수있어요.
그런데데이터가많으면계산이어려워지겠죠?이계산은사람이하는게아니라컴퓨터에게시켜요.2차세계대전이후컴퓨터공학이급속도로발달하면서,데이터가많으면계산이어려워진다는것은그다지큰문제가아니게되었어요.덕분에정말많은변화가일어났고,학자들은최대한많은정보를모으는데에집중하기시작했어요.어차피계산은컴퓨터가순식간에해주니까말이에요.
반도체기술이발달하면서,데이터를많이모아입력하면컴퓨터는점점더똑똑한판단을내려줬어요.사람처럼기계도많은양의데이터를‘학습’할수록똑똑해지는거예요.그리고어떤작업을충분히능숙하게처리할수있을정도로똑똑하게성장한것을우리는‘인공지능(AI)’이라고불러요.
즉,빅데이터를조금쉽게계산해보려고노력하는과정에서AI가튀어나온거예요.현대의AI는빅데이터를대신읽어주는해독기이자,대신계산해주는계산기라고할수있어요.

AI에대해제대로알기위해서는
먼저빅데이터를제대로알아야해!
빅데이터분석은복잡한데이터속에숨어있는보물같은정보를잘뽑아내고요리하기위해발전한분야이고,AI는빅데이터를조금더편하게계산해보려다가등장한기술이에요.그런데요즘은사람들이AI를계산기라고생각하는경우는거의없어요.AI를연구하는사람들조차도‘사람보다똑똑한면이있는기계’라생각하는경우가많지요.
사람들은더많은데이터를모으면더똑똑한AI가만들어질거라고생각하기시작했고,그러다보니이세상에공개된거의모든글을학습한AI가등장했어요.뉴스기사나SNS게시물은물론,어려운책이나과학자들이발표한논문까지도모두꼼꼼하게읽고학습한AI가만들어진거예요.
우리는이런AI를‘언어모델’이라고불러요.사람들이책을읽고공부를하는것처럼,언어모델도글을읽으며언어를도구삼아세상의정보를공부하거든요.아마지금세상에서가장유명한언어모델은지피티일거예요.챗지피티의그지피티말이에요.
그런데AI에게글을계속읽게만들면어떻게될까요?언어능력만무럭무럭성장하지않을까요?글쎄,결과는정반대였어요.인간도책을읽으며공부를한다는사실을간과했던거예요.엄청나게많은분량의글을읽은언어모델AI는세상에공개된거의모든지식을이해하고숙지하게되었어요.덕분에이제는전세계인류중그누구도AI보다넓은지식을뽐내는것은불가능해졌죠.‘이세상의모든지식’이라는무지막지한빅데이터를학습한기계가등장한거예요.
지금우리가그토록열광하는AI가빅데이터때문에만들어졌다고하니,AI에대해제대로알기위해서는빅데이터가무엇인지를먼저알아야할것같지않나요?《빅데이터가뭐예요?》를읽다보면,빅데이터에대해서알게될뿐더러,AI에대해몰랐던많은것을알게될거예요!

미래를앞서가는어린이들을위한
〈미래를여는키워드〉시리즈
〈미래를여는키워드〉는이처럼앞으로펼쳐질미래를앞서가기위하여어린이들이꼭알아야할중요한주제들을소개하는시리즈예요.우리의미래를여는주요키워드들에대해자세히짚어보고,그것들과함께하는미래를맞이하기위해어떤준비와자세를가져야하는지알려주지요.
첫번째권《탄소중립이뭐예요?》는기후위기대응방안으로전세계가합의한탄소중립이무엇이고왜중요하며어떻게달성할수있을지알려주는책이에요.그리고두번째권인《메타버스가뭐예요?》에서는앞으로우리앞에펼쳐질메타버스가무엇이고어떻게준비해야하는지를알려줘요.세번째권인《백신이뭐예요?》에서는인류가어떤백신을어떻게개발해왔고,앞으로는어떤백신이개발될지를알려줍니다.네번째권인《모빌리티가뭐예요?》에서는우리곁에성큼다가와있는모빌리티의미래를만날수있고,다섯번째권《공유경제가뭐예요?》를통해서는지구를살리는현명한소비,공유경제에대해알아봅니다.여섯번째권《제로웨이스트가뭐예요?》에서는쓰레기문제의심각성을깨닫고,쓰레기로부터지구를구하는방법을알아주지요.이번에새로나온일곱번째권《빅데이터가뭐예요?》를통해미래를예측하는도구빅데이터에대해알아보고빅데이터가만든AI세상을현명하게맞이해보아요!