Description
빅데이터를 활용한 인공지능 개발
Artificial Intelligence Development Using Big Data
빅데이터는 데이터 형식이 복잡하고 방대할 뿐만 아니라 그 생성속도가 매우 빨라 기존의 데이터 처리방식이 아닌 새로운 관리 및 분석 방법을 필요로 한다. 이에 따라 방대한 데이터를 수집·관리하면서 복잡하고 다양한 사회현상을 분석할 수 있는 능력을 지닌 데이터 사이언티스트의 역할은 그 중요성이 더해가고 있다.
그동안 우리 주변의 사회현상을 예측하기 위해 모집단을 대표할 수 있는 표본을 추출하여 표본에서 생산된 통계량으로 모집단의 모수를 추정해 왔다. 모집단을 추정하기 위해 표본을 대상으로 예측하는 방법은 기존의 이론모형이나 연구자가 결정한 모형에 근거하여 예측하기 때문에 제한된 결과만 알 수 있고, 다양한 변인 간의 관계를 파악하는 데는 한계가 있다. 특히 빅데이터 시대에는 해당 주제와 연관된 모든 데이터를 대상으로 하기 때문에 표본으로 모수를 추정하기 위해 준비된 모형을 적용하고 추정하는 가설검정의 절차가 생략될 수도 있다. 따라서 빅데이터를 학습하여 모형(인공지능)을 개발하는 머신러닝 방법이 다양한 변인들의 관계를 보다 정확히 예측할 수 있다. 머신러닝으로 인공지능을 개발하기 위해서는 다양한 분야에서 데이터의 잡음이 제거된 양질의 학습데이터가 생산되어야 한다.
저자들은 그동안 급속히 변화하는 사회현상을 예측하여 선제적으로 대응하기 위해 정형화된 빅데이터와 소셜 빅데이터를 활용한 연구에 노력을 경주해 왔다. 이 책 역시 그러한 연구의 결과로, 실제로 공공 빅데이터를 분석하여 미래를 예측하기 위한 인공지능을 개발하고 활용하기 위한 전 과정을 자세히 담았다.
빅데이터 분석을 통하여 급속히 변화하는 사회현상을 예측하고 창조적인 결과물을 이끌어내고자 하는 모든 분들에게 이 책이 실질적인 도움이 되기를 바란다. 나아가 머신러닝을 활용한 빅데이터 분석을 통하여 관련 분야의 인공지능 개발 및 학문적 발전에 일조할 수 있기를 진심으로 희망한다.
Artificial Intelligence Development Using Big Data
빅데이터는 데이터 형식이 복잡하고 방대할 뿐만 아니라 그 생성속도가 매우 빨라 기존의 데이터 처리방식이 아닌 새로운 관리 및 분석 방법을 필요로 한다. 이에 따라 방대한 데이터를 수집·관리하면서 복잡하고 다양한 사회현상을 분석할 수 있는 능력을 지닌 데이터 사이언티스트의 역할은 그 중요성이 더해가고 있다.
그동안 우리 주변의 사회현상을 예측하기 위해 모집단을 대표할 수 있는 표본을 추출하여 표본에서 생산된 통계량으로 모집단의 모수를 추정해 왔다. 모집단을 추정하기 위해 표본을 대상으로 예측하는 방법은 기존의 이론모형이나 연구자가 결정한 모형에 근거하여 예측하기 때문에 제한된 결과만 알 수 있고, 다양한 변인 간의 관계를 파악하는 데는 한계가 있다. 특히 빅데이터 시대에는 해당 주제와 연관된 모든 데이터를 대상으로 하기 때문에 표본으로 모수를 추정하기 위해 준비된 모형을 적용하고 추정하는 가설검정의 절차가 생략될 수도 있다. 따라서 빅데이터를 학습하여 모형(인공지능)을 개발하는 머신러닝 방법이 다양한 변인들의 관계를 보다 정확히 예측할 수 있다. 머신러닝으로 인공지능을 개발하기 위해서는 다양한 분야에서 데이터의 잡음이 제거된 양질의 학습데이터가 생산되어야 한다.
저자들은 그동안 급속히 변화하는 사회현상을 예측하여 선제적으로 대응하기 위해 정형화된 빅데이터와 소셜 빅데이터를 활용한 연구에 노력을 경주해 왔다. 이 책 역시 그러한 연구의 결과로, 실제로 공공 빅데이터를 분석하여 미래를 예측하기 위한 인공지능을 개발하고 활용하기 위한 전 과정을 자세히 담았다.
빅데이터 분석을 통하여 급속히 변화하는 사회현상을 예측하고 창조적인 결과물을 이끌어내고자 하는 모든 분들에게 이 책이 실질적인 도움이 되기를 바란다. 나아가 머신러닝을 활용한 빅데이터 분석을 통하여 관련 분야의 인공지능 개발 및 학문적 발전에 일조할 수 있기를 진심으로 희망한다.
빅데이터를 활용한 통계분석
$17.28