데이터는 예측하지 않는다 : 데이터에 관한 꼭 알아야 할 오해와 진실 - 좋은 습관 시리즈 36

김송규

저자:김송규

Dr.AmangKim

마카오폴리텍대학교컴퓨팅전공교수로데이터사이언스,소프트웨어공학,정보보안등을가르치고있다.미국플로리다공대에서컴퓨터공학석사와경영과학/오퍼레이션리서치박사학위를취득했다.이후삼성전자무선사업부에서일했으며,필리핀아시아경영대학원,아랍에미레이트아부다비경영대학원에서도가르쳤다.

다양한문화권에서의경험과자연,공학,경영을넘나드는넓은스펙트럼으로게임이론,확률모델과같은응용수학분야의연구는물론이고머신러닝을이용한생체보안시스템,블록체인기반의네트워크설계및데이터기반의경영전략모델설계까지여러분야의연구를동시다발적으로하고있다.

타국에서한국의뉴스를접하며정치,경제,교육,문화에대한다양한관점의글을소셜미디어에쓰기도한다.

현재국제전문가조직인IEEE(전자전기공학회)시니어회원이기도하다.

brunch.co.kr/@amangkim

현)마카오폴리텍대학교컴퓨팅전공부교수

현)IEEE(전자공학회)시니어회원

전)UAE칼리파대학교연구원

전)UAE아부다비경영대학원(ADSM)부교수

전)필리핀아시아경영대학원(AIM)부교수

전)삼성전자무선사업부책임연구원

1부―데이터분석을제대로하려면

1.분석의목적정의-나는어떤필요때문에데이터를활용하는지알아야한다
2.가장좋은분석이란-문제를정의하고상황에맞는분석기술을아는것이중요하다
3.데이터분석,꼭알아야할15가지-측정,분석,수집에대해꼭알아야하는15가지를기억하자
4.진짜좋은데이터란?-나의데이터와남의데이터를구별할줄알아야한다
5.분석결과의진실성-데이터분석의결과는완벽하게실제를대변할수없다
6.데이터의상관관계,인과관계-데이터변수들사이의관계를파악하는인사이트가중요하다
7.데이터사이언스의한계-데이터사이언스는통계학의한계를벗어날수없다

2부―데이터사이언스의오해와진실

8.언제까지빅데이터?-지금의빅데이터가미래에는스몰데이터가될수있다
9.데이터지상주의-데이터를이용한주장에는신뢰성이슈에서자유로울수없다
10.데이터는잘못이없다-똑같은데이터라도보는관점에따라해석은달라진다
11.데이터로미래예측이가능?-데이터는예측이아니라패턴을알려준다
12.데이터없이문제해결하기-가장최고의해결책은데이터없이해결하는것이다
13.데이터사이언스는과학이아니다-데이터의대표성이라는한계를명확히알아야한다
14.도박과확률이다른점-도박은예측이지만확률의본질은관리(매지니먼트)이다
15.실패한기업에다시투자하는이유-성공가능성이라는확률에투자하는것이다

3부―데이터사이언스더잘하기

16.효용성높이기-문제의본질에맞는적절한자원과분석도구가중요하다
17.수학적사고의중요성-잘못된의사결정을피하기위해데이터리터러시가필요하다
18.나의데이터리터러시-나의데이터리터러시수준을측정해보자
19.인지적편향깨기-인지적편향을깨는데필요한것이데이터리터러시이다
20.생활속게임이론-화려한알고리즘이허상일때가있다
21.데이터사이언스설계-분석설계를잘하기위해서는실무를꼭알아야한다
22.데이터사이언스설계,원포인트레슨-시간,비용,품질을개선하는설계가핵심이다
23.문제의본질읽기-문제해결의기본소양은인문학에서나온다

4부―데이터사이언스와인문학

24.데이터사이언스와챗GPT-모두가챗GPT를쓴다고해서안달복달할이유는없다
25.인공지능의비합리성-머신러닝을통해나온답이진실이될수는없다.
26.인문학적소양-문제의본질에접근하려는습관만큼중요한것이없다

좋은습관연구소의36번째습관은“데이터를읽는습관”입니다.작가는데이터읽는습관으로인문학적소양쌓기를주장합니다.그리고수학자출신답게이를뒷받침하는증명(?)으로데이터에관한오해와진실이무엇인지하나씩소개합니다.

그중몇가지를소개하면다음과같습니다.

1.양질의데이터100개가이것저것섞인데이터100만개보다낫다.
2.데이터분석은어쨌든모집단의일부를갖고서분석하는것으로아무리양질의데이터이고,많은양이있다하더라도결국은진실에가까운추정치일뿐이다.
3.데이터없이분석결과를얻을수있다면그것이최선이다.
4.데이터분석을할때자주하는실수중하나가‘나의데이터’‘남의데이터’를구분하지못하는것이다.
5.‘당선확률’은당선의미래를예측하는것이아니라미래의오차범위를말하는것이다.그래서“미래를정확히예측한다”는말을해서는안된다.
6.데이터는과거의발자취일뿐이다.예측할수없다.빅데이터를분석한다는것은예측을하기위한것이아니라패턴을찾기위한것이다.
7.분석에만치중하다보면상식적인판단이헷갈려엉뚱한진단을하는수가있다.그래서풀고자하는문제에대한통찰을선행하는것이중요하다.통찰은결국해당문제영역의경험에서나온다.
8.데이터리터러시역량을키운다는것은해결하려는문제의주어진상황이나인과관계를논리적으로추론할수있는소양을갖추는것을말한다.
9.지금의빅데이터가몇년뒤에는일반데이터가될수도있다.그러니빅데이터가뭔가대단한것이라고착각해서는안된다.
10.인공지능이표본화된데이터를학습한만큼,인공지능이생성한답이반드시진리일수는없다.갈릴레오시대의인공지능이라면“지구는돈다”라고말할것이다.
11.데이터분석이보장하는것은답의진실성이아니라,데이터의대표성임을잊지말자.
12.문제의본질을읽는것,그래서문제를풀기위해어떤도구를쓸지결정하는능력,그것이곧인문학적능력이다.

아시다시피데이터는거짓말을하지않습니다.거짓말을하는것은데이터를활용해자신의주장을펼치는사람입니다.이책에서강조하는인문학적소양은바로이러한왜곡을밝히고잘못이해하고있는오해를진실과구분짓는데필요한능력입니다.

인문학적소양이부족하면최신기술을빨리익히는힘은물론이고,기술에앞서풀고자하는문제의본질을보는힘또한놓치게됩니다.이책을통해서응용수학자는주장하는데이터사이언스과인문학(고등학교수준의과학적소양까지포함한)의중요성을함께고민해보았으면합니다.

*이런분들에게추천합니다.

1.데이터전문가로현재활동하고있거나,향후전문가로성장을꿈꾸고있는입문자들
2.데이터전문가가아닌분중에서는데이터에대한특징을이해해서업무적으로도움을얻고자하는기획자,마케터분들