[칼럼] 박찬선 이론조론: 빅데이터(Big Data), 욕망과 지혜

[프라임경제] 단연 2012년의 화두는 ‘빅 데이터(Big Data)’일 것이다. 과거 클라우드(Cloud)라는 말이 마치 뜬 구름과 같은 표현이라서 많은 사람들이 혼란스러워 하는 것과 같이, 최근의 빅 데이터 또한 이게 무슨 소리인가 하는 궁금증을 자아내고 있다.

하지만 이름만으로 무슨 말을 하는지 쉽게 알 수 있다. 빅 데이터, 당연히 용량의 큰 데이터를 말하는 구나라고 생각할 수 있을 것이다. 만약 당신이 어느 정도 IT 지식이 있다면 여기에서 더 나아가 기존의 오라클이나 MS-SQL과 같은 관계형 데이터베이스에서도 엄청나게 큰 데이터를 저장하고 처리할 수 있으니, 빅 데이터는 그보다 엄청나게 큰 데이터를 저장하고 처리하는 것이겠구나라고 쉽게 예측할 수 있을 것이다.

그러나 빅 데이터가 제시하고 말하고자 하는 개념은 이와는 많이 차이가 난다고 할 수 있다. 우선 빅 데이터에 대한 정의를 살펴보면 이 말뜻을 이해할 수 있을 것이다.

세계적인 컨설팅 회사 맥킨지(McKinsey & Company)의 보고서에는 빅 데이터를 “기존 데이터베이스 관리도구의 데이터 수집, 저장, 관리, 분석하는 역량을 넘어서는 데이터세트 규모로, 그 정의는 주관적이며 앞으로도 계속 변화될 것이다.”라고 했다. 사실, 빅 데이터에 대한 구체적이고 명확한 정의가 합의된 바는 아직 없다.

다만 기존의 데이터처리와의 차이점이라면, 빅 데이터 처리는 빠른 의사결정이 상대적으로 덜 요구되며, 처리복잡도는 상대적으로 높다는 점이다. 또한 처리할 데이터양이 방대하고 비정형데이터의 비중이 높으며, 처리․劇��유연성이 높다라는 특징을 제시하고 있다.

한 마디로, 그 동안 기업에서 많은 돈과 노력을 투자를 통해 이루고자 하였던 신속하고 정확하며 매우 중요한 데이터처리의 정도를 넘어서는 새로운 분야를 말한다고 할 수 있다. 그러면 최근 왜 이렇게 그 중요성과 필요성에 대한 회자(膾炙)가 많아진 것일까?

빅 데이터는 정보통신기기가 확산되고 디지털 정보가 양산되면서부터 그 탄생의 토대가 마련되고 있었다. 게다가 최근에는 소셜네트웍이라고 하는 사용자 참여형 서비스가 확산되면서 드디어 본격적인 빅 데이터의 시대가 도래했다. 2012년을 기준으로 전 세계에서 생성되는 디지털 정보량은 2.7 제타바이트(Zeta Byte)라고 한다.

제타바이트란 10의 21승을 말하는 단위로, 만일 대한민국 모든 사람이 1분마다 트위터에 3개의 글을 게시한다면 27만년이 걸리는 엄청난 양이라고 한다. 이는 고화질 HD 영화 3천억 개와 맞먹는 정보의 양이기도 하다.

한 마디로 우리가 살고 있는 오늘 하루에도 과거 인류역사상 유래를 찾아볼 수 없었던 엄청난 양의 데이터가 생성되고 있는 것이다. 물론 과거에는 이러한 데이터가 수집되지도 않았지만, 수집한다 하더라도 데이터를 처리할 수도 없었을 뿐더러, 처리할 수 있다 하더라도 데이터에 숨어있는 의미와 패턴을 알아내기는 불가능하였다. 그러니 아무리 많은 데이터인들 무슨 소용이 있단 말인가?

마치 강과 바다에 흐르는 엄청난 양의 물의 흐름이 과거에는 우리에게 특별한 의미가 없었을 수 있지만(물론 생태학적이고 환경적 가치를 이야기하는 것이 아니다.), 현대에 와서는 그러한 물의 흐름이 수력 및 조력발전이라는 기술을 통하여 새로운 에너지원으로 활용되고 있는 것과 같은 예라고 생각할 수 있다.

이러한 수 없이 많은 데이터에서 우리는 어떠한 패턴과 의미를 찾아낼 수 있다. 과거의 전통적인 데이터 처리가 ‘지식’에 중점을 두었다면 빅 데이터는 우리에게 ‘지혜’라는 선물을 제공해 줄 수 있을 것이다. 그 동안 제한되고 오랜 경험을 통해서 얻게 되는 지혜를 빅 데이터를 통해서 훨씬 광범위하고 정확한 지혜로 만들어 많은 사람들에게 제공할 수 있게 되는 것이다.

넥서스커뮤니티 박찬선 부사장

또한 빅 데이터는 사람들의 겉으로 표현된 말이 아니라 그들의 속마음, 때로는 자신도 모르고 있는 진짜 욕망까지도 알아내어 우리의 행동을 예측할 수 있도록 지원한다.
하지만, 모든 기술이 그렇듯이 빅 데이터에는 밝은 면과 어두운 면이 함께 공존하고 있다. 빅 데이터를 통해서 과거 우려했던 Big Brother와 같은 존재가 탄생할 수도 있었고, 소수의 사람들에 의하여 악용될 소지도 충분히 있다.

우리가 빅 데이터를 어떻게 활용하고 발전시킬 것인가에 대한 지혜가 필요한 것은 바로 이 때문이다.