빅데이터 시대 'DW 시장은 속도 경쟁중'

[김관용기자] 빅데이터 시대가 도래하면서 데이터웨어하우스(DW) 시장에서도 '속도' 경쟁이 본격화되고 있다.

오라클,IBM,테라데이터,EMC,SAP 등 DW 시장을 주도해 온 글로벌 다국적 기업들이 빅데이터 시대에 대응하기 위한 새로운 DW 플랫폼을 잇따라 출시하면서 '빠른 데이터 처리' 경쟁도 가열되는 양상이다.

실제로 오라클은 '엑사데이터 데이터베이스 인메모리 머신'의 국내 판매를 시작했고 IBM도 새로운 DW 제품인 '퓨어데이터'를 출시했다.테라데이타는 엔터프라이즈 DW 외에 통합 빅데이터 분석 솔루션인 '테라데이타 애스터 빅데이터 애널리틱스 어플라이언스'를 출시했으며 SAP와 EMC도 빅데이터 대응 DW 제품인 'SAP 하나(HANA)'와 그린플럼으로 시장을 공략하고 있다.

전통적으로 DW는 생성되는 데이터를 분석해 의사결정에 도움을 주는 솔루션으로 분산된 데이터들로부터 필요한 것들을 추출하여 변환 통합시켜 대용량 저장소에 분석하기 좋은 형태로 저장하는 역할을 한다.

하지만 빅데이터 시대가 되면서 DW 제품들은 비정형데이터 분석과 대용량 처리 기술을 접목시키며 한층 진화된 모습을 보이고 있다.

한국오라클 테크놀로지 사업부 장성우 상무는 "빅데이터 시대가 되면서 새로 출시되는 데이터 솔루션들이 빠른 분석과 지연 없는 처리를 강조하고 있다"면서 "아키텍처 구성에는 각각 차이가 있지만 지향점은 동일하다"고 설명했다.

◆DW 제품 트렌드, 방법은 달라도 지향점은 '속도'

새롭게 출시된 오라클의 엑사데이터는 빠른 데이터 읽기 쓰기와 효과적인 분석을 위해 메모리 용량을 크게 늘렸다.이를 통해 읽기 쓰기 작업이 디스크 드라이브의 속도를 낮추지 않도록 하고 수백 테라바이트(TB)의 압축된 사용자 데이터가 메모리에 저장될 수 있도록 했다.

특히 이전 버전보다 플래시 메모리 용량을 4배 확장해 최대 40% 이상 빠른 응답 속도를 보장하고 초당 100기가바이트(GB)의 데이터를 스캔하며 엑사데이터의 독특한 하이브리드 컬럼 압축 기능으로 수백 테라바이트(TB)의 사용자 데이터를 플래시 상에서 처리하는 인메모리 DB를 구현해 냈다.

IBM이 새로 출시한 퓨어시스템은 다양한 데이터처리 특성에 맞도록 솔루션을 트랜잭션과 분석처리에 맞춰 설계했다.

IBM의 퓨어데이터는 네티자 DW를 기반으로 빅데이터 분석에 최적화시킨 퓨어데이터 시스템 포 애널리틱스와 은행, 유통, 신용카드 거래 등의 처리 환경에 최적화된 퓨어데이터 포 트랜잭션,실시간 의사결정을 지원하는 퓨어데이터 포 오퍼레이셔널 애널리틱스 3종으로 출시됐다.

퓨어데이터 시스템 포 애널리틱스는 네티자의 전통적인 DW 기술을 기반으로 데이터 분석을 가속화하도록 설계됐으며 퓨어데이터 포 트랜잭션은 하나의 시스템에서 100개 이상의 데이터베이스를 처리, 빠른 업무처리를 지원한다.

IBM의 스마트 어날리틱스 시스템(ISAS)이 개선된 퓨어데이터 포 오퍼레이셔널 애널리틱스는 1천개 이상의 영업부문에 대해 통찰력을 제공,실시간으로 의사결정을 내릴 수 있도록 지원하는 솔루션이다.

이 제품은 최적화된 통합 어플라이언스에 오픈소스 아파치 하둡과 테라데이타의 기존 빅데이터 솔루션인 애스터를 함께 활용할 수 있도록 하는 것이 특징.

테라데이타 애스터 빅데이터 애널리틱스 어플라이언스 또한 빠른 데이터 처리와 분석 지원을 위해 높은 컴퓨팅 능력과 메모리, 데이터 이동 등의 요구조건에 적합하도록 장비를 설계하고 기존 상용 번들 제품보다 35배 빠른 분석과 19배 많은 데이터 처리량을 제공한다.

EMC의 그린플럼 어플라이언스는 단일 어플라이언스 내에서 관계형 데이터베이스(RDBMS) 모듈과 하둡 모듈 간, 정형데이터와 비정형데이터를 상호 연계 처리하고 빠르게 공유하는 기능을 제공하는게 핵심이다.

이같은 데이터 상호 연계 처리는 각 시스템들이 최고의 성능을 낼 수 있도록 하여 빅데이터 처리에서 중요한 기능을 수행한다.

인메모리 DB를 강조하고 있는 SAP 하나는 데이터베이스 처리 자체를 메모리 상에서 수행하기 때문에, 방대한 양의 데이터를 실시간으로 검색하고 분석해 실시간 비즈니스를 구현하도록 돕는다.

SAP 코리아 김희배 상무는 "빅데이터 시대가 되면서 단위 시간 내에 분석해야 할 데이터 양이 증가하고 분산 컴퓨팅 기술의 발달과 메모리 가격의 하락으로 인메모리 컴퓨팅(IMC)이 등장했다"면서 "하나는 램(RAM)에서 DB를 처리하고이는 기존 일반 디스크드라이브보다 1만배, SSD 등 랜드플래시 기반 DB보다 1천배 빠른 속도를 자랑한다"고 강조했다.