빅데이터 '도대체 얼마나 크길래...'

현대인들은 모바일기기와 온라인 거래, 소셜 네트워크를 통해 매일 2.5퀸틸리언(100경, 100만의 6제곱)바이트에 달하는 데이터를 생성한다. 매달 10억개의 트윗을 생성하며, 300억개의 메시지를 페이스북에 올린다.

EMC가 발표한 'EMC 디지털 유니버스' 보고서에 따르면 2011년 전 세계에 생성된 디지털 정보의 양은 1.8제타바이트(ZB)에 이른다. 1.8ZB는 약 1조8천억 기가바이트(GB)에 해당하는 수치로, 이를 환산하면 우리나라 전국민(약4천875만명)이 17만847년 동안 쉬지 않고 매 분마다 트위터 글 3개를 게시하는 정보량과 맞먹는다. 2천억 개가 넘는 2시간짜리 HD 영화를 한 사람이 쉬지 않고 4천700만년 동안 시청할 분량이다.

이를 32GB 용량의 아이패드로 환산할 경우에는 총 575억개의 아이패드가 필요하다. 이는 멕시코시티의 86%나되는 면적을 덮을 수 있는 분량이며, 서울 면적의 2.1배에 해당한다. 중국 만리장성의 현재 평균 높이 보다는 두배 더 높은 장벽을 쌓을 수 있고, 일본의 후지산보다 25배나 높은 개수다.

그러나 빅데이터가 이같은 크기(Volume)만을 의미하지 않는다. 빅데이터는 개념 속에 형태의 다양성(Variety)과 늘어나는 속도(Velocity)를 모두 포함한다.

과거의 데이터는 정형데이터, 즉 기업양식, 거래명세, 판매기록, 고객 데이터베이스(DB) 등 일정한 형식을 갖고 있었다. 하지만 최근의 데이터는 문자, 오디오, 비디오, 로그파일 등의 비정형데이터가 넘쳐나고 있다. IDC는 이같은 정형 및 비정형데이터가 기하급수적으로 늘어나면서 오는 2020년에는 디지털 정보의 양이 35.2ZB에 달할 것이라고 전망했다.

◆기업들 데이터 관리에 연간 4조 달러 투자

IDC 자료에 따르면 2010년 기업의 연간 데이터 관리 분야 투자 비용은 2005년에 비해 50% 증가한 4조 달러(약 4천342조원)에 이르고 있다.

특히 IDC는 2020년까지 전 세계 IT부서들은 현재보다 10배 많은 수의 가상 및 물리적 서버를 갖게 될 것이며, 관리해야 할 정보의 양도 50배가 넘을 것으로 전망했다.

또한 의류나 의료 기구에 달린 감지기(센서)처럼 내장형 시스템이 점차 늘어남에 따라 정보 그 자체의 성장세보다 정보가 압축돼 있는 파일 및 저장소의 수가 훨씬 빠른 속도로 증가하고 있다. 그 수치는 향후 10년 후 75배에 이를 것으로 추산된다.

한국IBM 빅데이터 총괄 이상호 상무는 "모바일, 소셜 미디어의 등장으로 데이터는 폭증하고 있고, IT의 발전으로 빅데이터를 활용할 수 있는 딥 애널리틱스(Big Data & Deep Analytics)에 대한 관심이 고조되고 있다"면서 "기업들이 깊은 바다에서 석유를 캐내듯 인터넷 바다에서 빅데이터를 캐내 분석하고 활용, 예측하는 것이 기업의 새로운 경쟁력이 되고 있다"고 강조했다.

◆빅데이터 어떻게 활용되나?

모바일 센서, 소셜 미디어 등에서 생성되는 대량의 비즈니스 데이터가 주목받으며, 빅데이터를 활용하려는 기업들도 늘고 있다.

기존의 시장조사와 효과분석 등이 많은 인력과 비용 투자에도 불구하고 결과 도출에 긴 시간이 소요되는 것과 달리 트위터에서는 기업의 활동이 소비자에 미치는 1차적인 영향과 다른 소비자들이 이를 2차적으로 확산시키는 효과를 빠르고 폭넓게 파악할 수 있다.

일본에서는 트위터에서의 반응을 성과지표로 활용해 1일 단위로 광고 슬로건이나 매장 내의 광고 문구를 변경하는 사례도 증가하는 추세다.

NEC 빅로브가 조사한 자료에 따르면 트위터를 업무에 활용하는 기업 가운데 관련 데이터를 분석해 효과를 측정한 기업은 2010년 현재 전체의 0.9%에 불과했지만, 40%가 결과에 만족하고 80%가 재이용을 희망하는 것으로 나타났다.

세계적인 자동차 제조 업체인 볼보는 소비자의 자동차 운전과정에서 수집된 데이터를 본사의 분석 시스템에 자동 전송하도록 해 빅데이터를 축적한다. 이를 통해 제품 개발 단계에서 알기 어려운 다양한 결함과 소비자의 잠재적 요구를 파악하고 이를 빠르게 제품에 반영시킨다. 기존에는 50만대의 차가 팔린 뒤에나 알 수 있었던 결함을 이제는 1천대의 판매 시점에서 포착해 사후관리 비용이 크게 줄었다.

영국 통신업체인 O2는 실시간으로 빅데이터를 처리, 스마트폰을 통한 '소셜미디어(SNS)+위치기반서비스(LBS)' 결합 프로모션을 제공한다. 실례로 LBS를 기반으로 실시간 스타벅스 프로모션을 모바일로 제공해 이 서비스에 가입한 사람이 스타벅스 매장 근처에 도달하면 문자메시지와 함께 프로모션 쿠폰을 전송한다.

맥킨지의 빅데이터 보고서(Big Data: The nextfrontier for innovation, competition, and productivity)는 "모든 기업이 보유한 빅데이터가 거대한 가치 추출이 가능할 만큼 충분한 규모에 도달해 누가 먼저 그 가치를 추출해 내느냐가 향후 기업의 성패를 가늠할 상황에 직면했다"며 "구글의 빅데이터 솔루션이 빚어낸 '마술'에서 보듯, 양적 거대함은 많은 분야에서 불가능을 가능으로 전환한다"고 분석했다.

IBM은 캐나다 의회의 수백만 건 문서를 활용, 영어·불어 자동번역 시스템 개발을 시도했으나 실패했다. 하지만 구글은 동일한 방식으로 수억 건의 자료를 활용, 50개 언어 간의 자동번역 시스템을 개발했다.