강아지가 화면에서 살아 움직인다…3D 반려견 아바타

[아이뉴스24 정종오 기자] 단 한 장의 사진만으로 반려견의 3차원 형상을 복원해 애니메이션까지 만들 수 있는 인공지능 기술이 개발됐다. 반려견을 똑 닮은 아바타를 가상현실(VR), 증강현실(AR), 메타버스에서 만나볼 수 있다.

울산과학기술원(UNIST) 인공지능대학원 주경돈 교수팀은 강아지의 사진 한 장만으로 움직일 수 있는 3차원 아바타(3D Avatar)를 생성할 수 있는 인공지능 모델 ‘DogRecon’을 개발했다고 24일 발표했다.

개는 품종마다 체형이 다르고, 네 발로 걷는 특성상 관절이 가려지는 경우가 많아 3D 복원이 까다로운 동물이다. 2D 사진 한 장으로 3차원 형상을 복원하려면 정보 부족 탓에 일부 부위가 부정확하게 생성되거나 형태가 왜곡되는 경우가 많다.

DogRecon은 개 전용 통계 모델을 적용해 품종별 체형이나 자세 차이까지 잡아냈다. 생성형 AI로 다양한 각도의 이미지를 자동 생성함으로써 가려지는 부분까지 실제처럼 복원할 수 있다. 가우시안 스플래팅 모델을 기반으로 해 개의 곡선형 체형과 털의 질감까지 정확하게 재현한다.

데이터셋을 이용한 성능 테스트에서 DogRecon은 단 한 장의 사진만으로도 기존 영상 기반 기술과 유사한 수준으로 자연스럽고 정확하게 개의 3차원 아바타를 만들어냈다.

기존 모델들은 강아지가 다리를 구부린 자세에서도 몸통이 뻗어 있거나, 관절이 어색하게 꺾인다. 귀, 꼬리, 털이 뭉치는 등 실제 모습과 동떨어진 형태로 재현되는 경우가 많았다.

DogRecon은 텍스트 입력만으로 아바타의 동작을 생성하는 ‘텍스트 기반 애니메이션 생성’, VR·AR 등 응용 분야에도 뛰어난 확장성을 보였다.

이번 연구는 UNIST 조경수 연구원이 제1저자로 주도했고 공동 저자로는 강창우 연구원(UNIST), 순동현 연구원(DGIST)이 참여했다.

조경수 연구원은 “전체 가구의 4분의 1 이상이 반려동물을 키우는 시대인 만큼, 그동안 사람 중심으로 개발돼 온 3D 복원 기술을 반려동물로도 확장해 보고 싶었다”며 “DogRecon은 누구나 자신의 반려견을 디지털 공간에서 구현하고, 직접 움직이게 할 수 있는 도구가 될 것”이라고 말했다.

주경돈 교수는 “이번 연구는 생성형 AI와 3D 복원 기술을 결합해 실제와 비슷한 반려동물 모델을 구현한 의미 있는 성과”라며 “앞으로 다양한 동물이나 개인 맞춤형 아바타로의 확장도 기대된다”고 말했다.

이번 연구 (논문명: DogRecon, Canine Prior-Guided Animatable 3D Gaussian Dog Reconstruction From A Single Image)는 컴퓨터비전 분야 저널인 ‘국제컴퓨터비전저널(International Journal of Computer Vision)’에 6월 2일 출판됐다.