말 잘하는 AI는 많다?…메타가 '상상하는 AI'를 만든 이유 [AI브리핑]

[아이뉴스24 윤소진 기자] 공이 테이블에서 굴러 떨어지면 바닥에 닿는다. 이같은 물리적 법칙을 스스로 예측하고 상상할 수 있는 AI가 등장했다. 챗GPT와 같은 챗봇형 AI(대규모언어모델·LLM)가 인간의 언어에 반응하는 존재였다면 '상상하는 AI'로 불리는 월드모델은 인간처럼 현실을 이해하고 판단할 수 있는 방향으로 진화하고 있다.

페이스북 모회사 메타플랫폼(이하 메타)은 최근 새로운 월드모델 ‘브이제파2(V-JEPA 2)’를 공개했다. 지난해 처음 발표한 브이제파(V-JEPA)의 후속작으로, 100만 시간 이상의 영상 데이터를 기반으로 자기지도학습(self-supervised learning)을 통해 훈련된 모델이다. 물체의 움직임, 물리 법칙, 시각적 인과관계를 이해하고 예측하는 능력을 바탕으로 AI가 언어가 아닌 실제 ‘세상’ 자체를 모델링하도록 설계됐다.

V-JEPA 2는 약 12억 개의 파라미터로 구성된다. 메타의 자체 구조인 JEPA(Joint Embedding Predictive Architecture)를 기반으로 한다. 핵심 기능은 비디오 기반 추론과 제로샷 플래닝(zero-shot planning)이다. 훈련되지 않은 새로운 환경이나 낯선 객체를 만나도 별도 학습 없이 곧바로 예측과 계획을 수행할 수 있다는 의미다.

실제 적용 사례도 다양하다. 대표적으로 로봇의 픽앤플레이스 작업에서는 V-JEPA 2가 목표 이미지와 현재 상태를 비교해 로봇이 물체를 집고 옮기는 최적 경로를 스스로 계획한다. 메타 연구진에 따르면 해당 모델을 탑재한 로봇은 학습되지 않은 물체와 환경에서도 65~80%의 성공률로 물체를 옮기는 데 성공했다. 이 모델은 자율주행차가 주변 차량이나 보행자 움직임을 예측해 사고를 예방하거나 물류·산업 자동화 로봇, AR/VR 환경에서 물리적 상호작용 등에도 활용할 수 있다.

V-JEPA 2는 일부 벤치마크에서 엔비디아의 Cosmos 모델 대비 최대 30배 빠른 추론 속도를 보였다. 비디오 클립만으로 3D 추론과 예측이 가능해 데이터 효율성에서도 강점을 보인다. 메타는 이와 함께 새로운 벤치마크 데이터셋(IntPhys 2, CausalVQA 등)을 공개해 월드모델 성능 측정 기준을 제시했다.

이번 발표는 메타의 상업적 전략 측면에서도 큰 의미를 지닌다. 업계에서는 메타가 월드모델을 통해 오픈AI, 구글 등과 차별화를 꾀하고 있다고 본다. 특히 로봇, 자율주행, 산업 자동화, 메타버스·AR/VR 등 미래 성장 분야에서 주도권을 확보하려는 전략이 뚜렷하다.

실제로 메타는 V-JEPA 2를 자사의 하드웨어 생태계(Quest, Orion 등)와 연결해 물리적 상호작용을 구현하는 핵심 기술로 활용하고 엔터프라이즈 AI 및 클라우드 인프라 수요 확대도 노리고 있다.

오픈소스를 기반으로 한 파트너십 유도와 기술 표준 선점 전략 역시 병행 중이다. V-JEPA 2는 코드와 모델 체크포인트가 모두 오픈소스로 공개돼 연구자 및 개발자들이 자유롭게 활용할 수 있다.

얀 르쿤 메타 수석 AI과학자는 "V-JEPA 2는 ‘현실의 추상적 디지털 트윈’으로 AI가 자신의 행동 결과를 예측하고 주어진 임무를 완수하기 위한 행동 계획을 세울 수 있게 한다”며 "월드 모델이 로봇 공학의 새로운 시대를 열 것이라고 믿는다. 실제 AI 에이전트가 엄청난 양의 로봇 훈련 데이터 없이도 집안일과 물리적 작업을 도울 수 있게 될 것"이라고 말했다.