MS 손잡은 데이터브릭스 "데이터 과학자 고민 덜어준다"

[아이뉴스24 김국배 기자] "기업에는 데이터 사이언티스트(과학자)와 데이터 엔지니어라는 두 개의 페르소나(인격체)가 존재한다고 볼 수 있습니다. 알고리즘을 가진 데이터 과학자와 데이터를 가진 엔지니어가 협업할 수 있도록 해주는 게 관건입니다."

제이슨 비셀(Jason Bissell) 데이터브릭스 아시아태평양 지역 총괄은 지난달 24일 서울 광화문 한국마이크로소프트(MS) 본사에서 기자와 만나 "데이터 과학의 문제는 협업의 문제로도 얘기된다"며 이같이 말했다.

2013년 설립한 데이터브릭스는 아파치 스파크 기반 데이터 분석 플랫폼을 제공하는 회사다. 2015년 매출이 100만 달러에 불과했지만 지난해 1억 달러를 달성할 정도로 빠르게 성장하고 있다. 직원 수도 6명에서 현재는 1천여 명으로 불어났다. 지금까지 5억700만 달러의 규모의 투자를 유치했으며 컴캐스트, 암젠 등 5천여 개 고객사를 확보했다.

비셀 총괄은 "데이터 과학자의 고민은 데이터, IT 두 가지"라며 "여러 유형의 데이터를 불러와 처리해야 하고, 실행하고 싶은 데이터 사이언스 관련 프로젝트가 있으면 하드웨어 프로비저닝을 잘해야 한다"고 지적했다.

하지만 데이터 과학자는 어떤 알고리즘과 머신러닝을 사용해야 하는지는 머릿 속에 잘 그리고 있는 반면 데이터, 하드웨어 쪽은 확신을 갖고 있지 못하다는 게 그의 얘기다. 데이터가 있다 해도 원하는 수준의 신뢰성을 갖추지 못한 경우도 많다. 이는 엔지니어의 몫이다.

그는 "데이터 분석의 여정에서 최종 목적지에 도달하기 위해선 신뢰성 있는 데이터가 있어야 하고, 그 데이터를 알고리즘에 넣어 결과값이 만들어져야만 목적을 달성할 수 있다"며 협업의 필요성을 재차 강조했다.

데이터브릭스가 MS와 손잡고 최근 '애저 데이터브릭스'를 내놓은 것도 이 같은 고민을 가진 데이터 과학자를 지원하는 연장선으로 볼 수 있다.

애저 데이터브릭스는 MS 클라우드 '애저'의 플랫폼 서비스(PaaS) 중 하나로 통합돼 이달부터 국내 데이터센터(MS 서울 리전)을 통해서도 제공되기 시작했다. 머신러닝을 보다 빠르게 처리하며 신뢰성이 뛰어나다.

비셀 총괄은 "우리는 분석과 플랫폼의 통합을 지향하고 있다"며 "애저 서비스 레이어와 우리 SW가 통합돼 (데이터 과학자와 엔지니어가) 협업할 수 있는 공간이 마련된 것"이라고 설명했다.

또한 그는 "데이터브릭스는 오픈소스인 아파치 스파크 기반으로 솔루션을 개발해 제공하고 있다"며 "애저 클라우드 상에서 처리속도는 10배에서 100배 이상 개선됐으며, 대규모 컴퓨팅이 가능해 비용 절감 효과도 매우 크다"고 덧붙였다.

아울러 "우리 SW 모델의 핵심은 소비 기반"이라며 "데이터 과학자가 어떤 프로젝트를 할 때 몇 개의 서버를 구축해야 하는지 등의 고민을 덜어준다"고 말했다. 고객 입장에서 애저 데이터브릭스를 통해 서비스를 제공받고 사용한 만큼 대가를 지불하면 되기 때문이다. 재계약률도 높은 편이다.

미국, 유럽에 이어 올들어 아시아태평양 시장 공략을 시작한 데이터브릭스는 애저 데이터브릭스를 통해 국내 기업 고객 잡기에 본격 나선다. 삼성전자는 이미 데이터브릭스의 플랫폼을 사용중이다. 호주 비영리기관인 헬스 다이렉트는 데이터브릭스 플랫폼을 통해 환자를 분류하고 적합한 진료를 해줄 수 있는 대상을 찾아 배정해준다. 현재 매월 300만 콜을 처리한다.

그는 "애저와 파트너십을 통해 고객이 바로 사용할 수 있다는 점도 핵심 강점"이라며 "데이터브릭스의 서비스는 재계약률도 매우 높은 편"이라고 말했다.