빅데이터 시대에는 DW가 필요 없을까? 천만에!

[김관용기자] 빅데이터 시대에는 데이터웨어하우스(DW)가 더 이상 필요 없을까?

DW는 기업에서 생성되는 데이터를 분석해 기업의 의사결정에 도움을 주는 솔루션으로, 분산된 데이터들로부터 필요한 것들을 추출하고 변환·통합해 대용량 저장소에 분석하기 좋은 형태로 저장하는 역할을 한다.

하지만 지금까지의 DW는 정형데이터에 국한해 분석과 처리 업무를 담당했었고, 용량 또한 테라바이트 정도밖에 수용할 수 없어 빅데이터 시대에는 적절치 않은 솔루션이라는 지적이 제기됐다. 비정형데이터가 85% 이상을 차지하고 용량 또한 제타바이트급이 넘는 빅데이터를 감당하기에는 역부족이라는 이유에서다.

그러나 최근 글로벌 기업들이 출시하는 빅데이터 솔루션의 면면을 보면 오히려 DW의 기능을 강조하는 모양새가 짙다. DW의 기능을 강화하고 여기에 하둡 기반의 데이터 분석 소프트웨어나, 대용량의 하드웨어, 컨설팅 서비스 등을 접목하는 형식이다.

이유는 기업 내외부의 모든 데이터를 분석하고 활용해야 하는 빅데이터 솔루션의 특성상 기업 내부의 정형데이터를 분석하는 DW가 반드시 필요하기 때문이다.

한국IBM SWG 정보관리 소프트웨어 기술영업 담당 이지은 실장은 "전통적인 데이터 감별 툴로 분석한 DW 내 수많은 워크로드의 잘 정제된 정형 데이터 분석 결과들과 기업 외부의 다양한 형태의 비정형 데이터를 결합하는 것이 진정한 빅데이터 활용"이라며 "DW는 빅데이터를 위한 아주 중요한 인프라"라고 강조했다.

기존의 DW는 비정형데이터 분석 및 대용량 처리 기술과 접목돼 진화하면서 빅데이터 시대에도 여전히 각광받을 것이란 주장이다.

데이터의 관계를 파악하기 위해서도 DW 솔루션은 매우 중요하다. IBM 정보관리 담당 톰 도이치 이사는 "패턴을 찾기 위해 과거 데이터를 분석하지 않는다면 데이터 스트림에서 무엇을 찾아야 할지 알기 어렵다"면서 "DW는 그러한 패턴을 찾는데 도움을 줄 수 있다"고 말했다.

◆빅데이터에 대응한 주요 IT기업들의 DW 활용법은?

이같은 이유로 IBM의 경우 자사의 서버와 스토리지 위에 구축되는 DW 플랫폼인 'IBM 스마트 어날리틱스 시스템(ISAS)'과 데이터 분석 전용 어플라이언스인 '네티자'를 강조한다.

이들 솔루션은 SAS는 기존의 DW 기능을 확장한 것으로 대용량 처리 성능을 보장하며, 트랜잭션 처리와 DW 업무 모두에 적합한 구조로 설계됐다.

네티자 또한 데이터베이스(DB), 서버, 스토리지, 분석 소프트웨어 등을 통합한 DW로 시간당 최대 2테라바이트의 로딩 속도를 자랑하며, 시간당 최고 4테라바이트 데이터의 고속 백업 및 복구를 지원한다.

오라클의 빅데이터 전략에서도 DW 기능을 담당하는 엑사데이터의 역할은 매우 중요하다.

엑사데이터는 DW 기능 외에 온라인 트랜잭션 처리(OLTP)와 페타바이트 용량까지의 확장성을 제공한다. 특히 엑사데이터는 빠른 데이터 처리 속도를 자랑하는데, 초당 40기가바이트의 데이터 처리를 지원하며, 데이터를 컬럼 단위로 압축해 병목 현상 없이 빠른 성능을 지원한다.

이같은 엑사데이터는 오라클의 '엑사' 시리즈 제품들과 연동해 최상의 성능을 낸다. 우선 빅데이터 분석 솔루션인 빅데이터 어플라이언스와 엑사데이터를 연결시키는 '빅데이터 커넥터'를 통해 기존 DB 데이터와 빅데이터의 유연한 연결을 지원한다.

또한 '어드밴스드 애널리틱스'로 데이터베이스 내에서의 종합적인 분석을 지원하며, '엑사리틱스'를 통해서는 메모리 기반의 실시간 분석을 제공한다.

DW 시장의 강자인 테라데이타의 빅데이터 솔루션도 기존의 DW 기술을 중심으로 빅데이터 전용 솔루션을 결합한 형식을 갖추고 있다.

한국테라데이타가 최근 발표한 빅데이터 전용 '애스터 맵 리듀스 어플라이언스' 제품은 빅데이터 분석 소프트웨어인 '테라데이타 애스터'와 자사의 DW를 결합한 것이다. 테라데이타는 여기에 DW와 애스터 데이터 시스템 간의 고속 데이터 전송을 지원하는 '테라데이타-애스터 어댑터'를 제공할 계획이다.

한국테라데이타 측은 "빅데이터 솔루션은 비정형데이터를 정형화시켜 DW에서 분석하는 것으로 빅데이터 시대에 그 가치가 더욱 중요해지고 있다"고 설명했다.

한국테라데이타는 이에따라 애스터 데이터가 보유한 빅데이터 분석 기술에 DW솔루션 노하우를 접목시켜 기업의 수익성과 경쟁력을 제고할 수 있도록 적극 지원할 계획이다.