테라데이타 "SQL 엔진, 분석 기술 표준 정립에 도움 줄 것"

[박계현기자] "빅데이터의 문제영역은 굉장히 다양하고 광범위합니다. 한 기술이 모든 영역을 아우르기는 힘들고 각 기술마다 저마다의 '스윗스팟(sweet spot, 최적점)'이 있습니다."

테라데이타 마틴 윌콕스 플랫폼 및 솔루션 부문 총괄 이사는 최근 서울 삼성동 코엑스인터콘티넨탈호텔에서 기자와 만나 이같이 언급하며 SQL 엔진을 통한 분석기법이 향후에도 유효할 뿐 아니라 분석기술의 표준을 정립하는데도 도움을 줄 것으로 전망했다.

불과 몇 년전까지만 해도 SQL을 대체하는 기술이라는 의미로 'NO SQL' 이라는 용어를 사용했지만 이제는 'NO SQL'이 'SQL만이 아니다' 라는 의미로 이해되기 시작했다는 것. 특히 구글, 페이스북 같은 소셜네트워크서비스 선도업체들이 SQL 엔진을 다른 분석 기법과 함께 사용하는 방법을 가장 앞장서서 연구해 나가기 시작했다.

윌콕스 이사는 "SQL에 있어 가장 흥미로운 점은 전통적인 BI를 상업화할 수 있도록 만들어줬다는 점"이라고 설명했다. "SQL이라는 표준형이 있어 이를 바탕으로 관계형 데이터베이스를 분석하는 등 일종의 경향성이 나타나고 이를 중심으로 하는 생태계도 생겨나고 있다"는 것.

그는 "마이크로스트레티지, SAS 등 전통적인 BI가 상업화됐던 것처럼 빅데이터도 산업 자체가 활성화되기 위해선 표준이 필요하고 테라데이타의 솔루션이 SQL을 연장한 새 표준의 좋은 후보가 될 수도 있을 것"이라고 전망했다.

윌콕스 이사는 "대량의 데이터 속에서 데이터를 비용효과적으로 저장하고 의미있는 정보를 도출하기 위해 사전적으로 처리할 수 있는 기술이 중요하다"며 "테라데이타는 '빅데이터'라는 개념이 나오기 이전부터 30여년 동안 대량의 분석 데이터셋을 관리한 경험이 있다"고 자신감을 내비쳤다.

윌콕스 이사는 데이터웨어하우징 업계에서 엔터프라이즈 아키텍처 부문 등을 담당하며 17년간 빅데이터를 다뤄온 전문가다. 이번 방한은 그가 테라데이타와 호튼웍스가 공동으로 개최한 '빅애널리틱스 2013' 포럼에 연사로 참석하면서 이뤄졌다. 그는 지난 12일 열린 강연에서 '빅데이터 분석은 정말 중요한가?'라는 화두를 던지며 테라데이타의 최신 빅데이터 분석 기법들을 소개했다.

윌콕스 이사는 테라데이타가 갖고 있는 빅데이터 분석의 강점에 대해 "전통적인 테라데이타 플랫폼, 애스터 솔루션, 호튼웍스와 협업이 이뤄지고 있는 하둡 솔루션 등 3개 플랫폼을 모두 통합하는 부가가치 서비스를 갖고 있다는 점"이라고 소개했다. "이들 플랫폼이 모든 문제영역을 다룰 수 있고, 궁극적으로는 각각 다른 역할을 할 수 있도록 최적화가 돼 있는 상호보완적인 관계에 있다"는 설명이다.

그는 "테라데이타의 기존 솔루션이 오랜 기간동안 데이터셋을 분석하고 수집한 경험을 통해 전통적인 분석 기법에 강점을 갖고 있다면 '테라데이터 애스터'는 음성녹음, 텍스트문서, CCTV 영상 등 새로운 유형의 데이터에서 통찰력을 얻을 수 있게 해주고 하둡 플랫폼은 대량의 데이터를 수집 분석하고 사전처리하는 역할을 한다"고 설명했다.

예를 들어 금융기관을 이용하는 고객이 그 기관과 거래를 끊는 경우가 일어난다면 회사는 이제 경로분석을 통해 계좌를 해지하는 특징적 패턴들을 분석할 수 있다. 은행창구나 전화상담, 인터넷 등을 통해 수집된 고객들의 행동 패턴을 전통적인 SQL 분석 외에도 '애스터'와 같은 맵리듀스 분석을 통해 읽어내는 것이다.

윌콕스 이사는 SQL 엔진과 하둡 플랫폼을 함께 사용하는 방식을 두 가지로 구분했다. 한 가지는 호튼웍스, 클라우데라 등 하둡 배급사와 긴밀한 파트너십을 맺고 하둡과 SQL 엔진이 상호작용하는 시스템을 구축하는 접근법, 다른 한 가지는 하둡 위에 새로운 SQL엔진을 구축하는 접근법이다.

그는 후자의 접근법에 대해 "고성능의 병렬 SQL 엔진을 구축하는 일이 (얼마나 어려운 일인지를) 과소평가했다고 본다"며 "테라데이타가 60페타바이트를 처리할 수 있는 데이터웨어하우스로 개선하는데 34년이 걸렸다"고 말했다.

이어 "빅데이터의 문제영역이 다양하기 때문에 하나의 기술로 모든 영역을 동시에 최적화하는 기술은 없다고 본다. 앞으로는 복수의 분석 기술이 필요하고 이를 통합할 필요가 있다. 자체적으로는 통합 데이터 아키텍처(UDA, Unified Data Architecture)로 부르고 있다"고 설명했다.