빅데이터, 그 이상의 데이터

지난해에 빅데이터가 화두로 떠오른 한 가지 사건이 있었다. 미국 대선에서 힐러리 클런턴이 승리할 거란 예상을 뒤엎고, 도널드 트럼프가 당선된 것이다. 100여 개의 언론사와 조사 기관은 힐러리의 승리를 거의 기정사실화했다. 그들은 과학적 정확성을 자랑하는 데이터 분석 전문가 집단이었다. 그러나 예상을 뒤엎고 트럼프가 당선되자 전 세계 금융시장은 요동쳤고, 오랜 역사를 자랑하는 여론조사 기관의 데이터 신뢰도는 땅으로 추락했다. 기존의 여론조사 방식이 미국 백인 보수 세력의 목소리를 대변하지 못하고 침묵하는 국민에 대한 데이터를 확보하는데 실패한 것이다. 이런 예측 오류는 단순히 넘길 문제가 아니며, 다른 각도의 분석을 통해 대안을 찾아야 한다.
그런데 당시 구글은 트럼프의 당선을 알고 있었다. 구글은 전통적 데이터 분석 방법을 탈피, 빅데이터를 분석하는 구글 애널리틱스를 통해 대선 전 1년간 트럼프와 힐러리의 구글 키워드 분석 결과를 살펴봤다. 그때 압도적으로 검색률이 높은 인물은 트럼프였다. 이는 앞으로 데이터 분석 방법에 변화가 필요하다는 것을 의미한다. 기존의 방식이 어긋나고 새로운 방식이 높은 정확도를 기록하는 것은 바로 ‘빅데이터’라는 거대한 산물이 있기 때문이다. 그런데 놀랍게도 빅데이터라는 것은 우리가 그동안 구글이나 유튜브 등 소셜 미디어에 쌓아놓은 정보다.

새로운 가치를 만드는 빅데이터
세상에 있는 모든 정보는 크게 보이는 것과 보이지 않는 것으로 나뉜다. 보이는 정보는 약 5%에 불과하고, 보이지 않는 정보가 95%다. 이를 빅데이터로 다시 살펴보면 보이는 정보는 컴퓨터에 저장할 수 있는 데이터베이스, 즉 ‘빅데이터’고, 보이지 않는 정보는 통찰력과 직관력 등인 ‘뇌 빅데이터’로 구분할 수 있다.
데이터는 1차적으로 ‘정보를 가진 모든 값’을 말한다. 그 데이터의 양은 현재 엄청난 속도로 변하고 있으며 과거와는 비교도 할 수 없는 정도가 됐다. 2003년까지만 해도 인류가 만든 데이터의 누적분이 5엑사바이트(EB) 수준이었는데 이제는 하루에 그 정도 분량의 데이터가 발생한다.
그렇다면 일반적으로 우리가 말하는 빅데이터란 무엇일까? 과거에 도서관에서 책을 빌릴 때 우리는 종이로 된 장부에 날짜, 성명, 도서명 등을 적어 관리했다. 수작업으로 정보를 관리하던 시절이었다. 그러나 지금은 어떤가. 도서관의 모든 책은 바코드로 관리되며 관련 정보는 컴퓨터에 저장된다. 사람들은 대출카드만 있으면 바로 책을 빌리고 반납할 수 있다. 이처럼 컴퓨터 시스템에 저장된 정보를 데이터베이스라고 한다. 그런데 컴퓨터의 성능이 향상되고 가격은 하락하면서 컴퓨터가 보편화된 시대를 맞이했고, 그에 따라 상상을 초월할 정도로 데이터의 저장 능력이 커졌다. 이것을 바로 빅데이터(big+data)라 부른다. 사실 이 용어가 탄생한 것은 그리 오래되지 않았다. 미국에서 버락 오바마가 대통령으로 당선된 즈음부터 사용하기 시작한 것이다. 2008년 미국 민주당 경선 당시 오바마는 100명의 상원의원 중 99위를 차지할 만큼 경선 승리가 어려운 상황이었다. 그런데 그는 수학자, 데이터 분석 전문가, 통계학자, 예측 분석 전문가 등으로 대선 캠프를 구성해 빅데이터 팀을 만들었고, 이메일이나 SNS 마케팅을 통해 국민의 관심사를 파악하는 등 치밀한 과학적 분석과 통계를 토대로 오차 범위를 줄여가며 선거에서 파란을 일으켰다.
SNS를 기반으로 한 정보의 홍수는 빅데이터 등장의 기반이 됐다. 이렇게 2000년대 말 IT 시장에 새로운 트렌드로 떠오른 빅데이터는 현재 스마트폰 이용의 확장이나 사물인터넷, 웨어러블 디바이스뿐 아니라 건설, 기계설계 등 거의 전 산업 분야에 걸쳐 활용되고 있다.

뇌 빅데이터, 인공지능 시대의 전략
최근 이슈가 되고 있는 인공지능의 진화도 그 배경에는 빅데이터가 있다. 인공지능은 인간의 지능을 지닌 컴퓨터 시스템으로, 기존 인공 신경망의 한계를 극복한 ‘딥 러닝’의 개발 이후 더욱 급격하게 성장하고 있다. 딥 러닝은 빅데이터를 기반으로 비슷한 데이터를 찾아내는 원리이기 때문에 빅데이터와 인공지능은 뗄 수 없는 관계다. 컴퓨터와 비교해 빅데이터가 기억장치고 인공지능이 중앙처리장치라 할 때, 아무리 거대한 정보가 있다 해도 인출해 사용할 수 없다면 무의미하므로 그 둘이 완벽한 협업을 이뤄야 제대로 능력을 발휘할 수 있는 것이다.
이제 인공지능의 개발로 10년 안에 일자리의 70%가 사라지고, 의학 기술의 발전으로 인간은 더 오랫동안 살 것이란 예측이 나온다. 이런 흐름에 맞춰 교육의 변화가 시급하지만 우리는 막연히 인공지능에 대한 두려움을 느끼고, 심지어 일각에서는 인공지능 개발을 법적으로 금지하자는 목소리까지 나오고 있다. 인공지능의 영향력에 따라 ‘약한 인공지능 시대’는 인간이 편리한 생활을 할 수 있게 해주지만 ‘강한 인공지능시대’는 인간의 개입 없이 인공지능이 스스로 주도력을 가져 인류 파멸을 불러올 수도 있다.
그러므로 우리는 인공지능 시대를 환영하되 그에 따른 대비책도 세워야 한다. 강한 인공지능 시대의 위기를 극복하는 최고의 대안은 무엇일까? 과거 인류의 생존 과정에서 그 해답의 실마리를 찾을 수 있다. 수만년 전 원시시대의 인류는 힘없는 동물(종)에 불과했다. 그러나 사고하는 능력을 지닌 인간은 그 능력으로 언어와 도구를 만들었고 생태계의 최고봉에 올랐다. 그리고 최근에는 인공지능까지 개발했다. 앞으로 다가올 강한 인공지능 시대에 필요한 것은 바로 인간의 사고력인 ‘뇌 빅데이터’의 역량을 최대화하는 것이다.
뇌 빅데이터의 산출은 ‘인간의 주관적 경험치와 연구 결과가 사물의 전체상을 볼 수 있게 통합되는 순간 결과가 도출되는 것’이다. 이것을 다시 세상에 통용되는 용어로 풀어본다면 직관력과 통찰력이라고 할 수 있다. 정보를 찾고 생각을 반복하다 보면 일정한 패턴으로 우리 뇌에 저장되고, 우리 뇌에서 일정한 패턴으로 순간적 산출이 이루어진다. 이것이 뇌 빅데이터다. 이러한 능력은 경험과 학습을 통해 생기는데, 학습은 신경세포의 연결 고리(시냅스)에서 일어난다. 자주 보고 듣고 경험하는 정보를 저장하는 세포 간의 연결성이 강화되면 비슷한 정보의 패턴을 받아들일 때 활성화될 확률이 높아진다.
물론 인간의 뇌는 너무나 복잡해 그 정보를 꺼내는 것이 컴퓨터의 데이터베이스처럼 쉽지는 않다. 컴퓨터는 일종의 약속된 언어를 넣으면 원하는 정보를 꺼내주지만 뇌 빅데이터는 그 결과를 산출하는 방법이 약속돼 있지 않다. 그렇다고 가능성이 없는 것은 아니다. 정확한 결과를 위해서는 기본적인 정량적 정보가 필요하므로, 최대한 그 정보를 많이 축적하고 몰입할 때 뇌의 효율을 증진시킬 수 있다.
경험과 노하우를 많이 쌓은 경영자는 사업에 대한 판단 능력이 탁월하다. 이런 사람은 경영 분야에서 누구보다 많이 고민하고, 많은 경험을 쌓고, 많은 실패와 그에 대한 정보를 축적해놓았기에 그런 정보가 일정한 패턴으로 뇌에 저장되어 있다가 순간적으로 결과를 산출해낸다. 이처럼 계속 학습과 경험을 통해 정보를 쌓다 보면 언젠가 ‘유레카’를 외치며 최고의 산출물을 토해내는 순간을 맞게 될 것이다. 그 결과물의 정확성이나 발생 빈도에 따라 뇌 빅데이터를 산출할 수 있는 능력이 있느냐 없느냐를 판단할 수 있다.
과거의 학자들은 철학, 수학, 과학, 미술, 건축 등 전 분야를 포괄할 수 있는, 말 그대로 천재가 대부분이었다. 이후 이러한 통합적 학문이 체계화되면서 각각의 학문으로 나뉘어 발전했다. 그러나 지금은 수학, 과학, 물리, 역사 등으로 나뉜 학문이 다시 융합이라는 형태로 합쳐지고 있는 현실이다. 기술과 사회가 발전하면서 하나만 공부해서는 경쟁력을 갖추기 힘든 세상이 됐기 때문이다. 또 하나의 분야에 몰입하는 것은 컴퓨터가 너무나 잘하는 일이기도 하다. 인공지능 관련 기술의 개발이 놀라울 정도로 빨리 진행되고 있는 이 시대에는 여러 분야를 융합적으로 사고하는 경이로운 역량인 ‘뇌 빅데이터’를 개발해야 한다.

PROFILE
빅데이터 전문가 백신정은 고려대학교에서 컴퓨터공학 석사, 기술사회융합 박사 학위를 받았고, 대기업에서 15년간 데이터 분석과 웹, IT 융합 관련 업무를 진행했다. 현재 고려대학교에서 빅데이터를 강의하고 있으며, 7일경제연구소에서 연구 활동을 하고 있다. 저서로는 융합형 인재를 위한 ‘뇌 빅데이터’의 중요성과 활용 방법을 소개한 <내 안의 빅데이터를 깨워라>가 있다.

에디터 안미영(myahn@noblesse.com)
글 백신정(빅데이터 전문가)