Animatable Gaussians - 인간 아바타를 생성하는 새로운 기술

 

Abstract

 

 

 

RGB 비디오에서 애니메이션 가능한 인간 아바타를 모델링하는 것은 오랫동안 지속되어 온 어려운 문제입니다. 

최근 작품에서는 일반적으로 3D 인간을 표현하기 위해 MLP 기반 신경 방사 필드(NeRF)를 채택하지만 순수 MLP가 포즈 종속 의류 세부 사항을 회귀하는 것은 여전히 ​​어렵습니다. 이를 위해 강력한 2D CNN과 3D 가우스 스플래팅을 활용하여 충실도가 높은 아바타를 생성하는 새로운 아바타 표현인 Animatable Gaussians를 소개합니다. 

 

3D 가우스를 애니메이션 가능한 아바타와 연결하기 위해 입력 비디오에서 파라메트릭 템플릿을 학습한 다음 각 픽셀이 3D 가우스를 나타내는 두 개의 전면 및 후면 표준 가우시안 맵에서 템플릿을 매개변수화합니다. 

 

학습된 템플릿은 드레스와 같은 헐렁한 옷을 모델링하기 위해 착용하는 의류에 적응합니다. 

이러한 템플릿 기반 2D 매개변수화를 통해 강력한 StyleGAN 기반 CNN을 사용하여 자세한 동적 모양을 모델링하기 위한 포즈 종속 가우스 맵을 학습할 수 있습니다. 또한 새로운 포즈에 대해 더 나은 일반화를 위한 포즈 투영 전략을 소개합니다. 

 

전반적으로, 우리의 방법은 역동적이고 현실적이며 일반화된 모습을 지닌 실제와 같은 아바타를 생성할 수 있습니다. 

실험에 따르면 우리의 방법은 다른 최첨단 접근 방식보다 성능이 뛰어납니다.

 

Animation

 

AMASS 의 모션으로 애니메이션을 적용한 아바타

 

 

 

 

 

 

 

 

 

 

 

 

Avatars animated by other motions

 

 

 

 

Method

 

 

파이프라인의 그림입니다. 여기에는 두 가지 주요 단계가 포함됩니다. 

1) 다중 뷰 이미지에서 캐릭터별 템플릿을 재구성합니다. 

2) StyleUNet을 통해 포즈 의존적 가우시안 맵을 예측하고 합성된 아바타를 LBS 및 미분 래스터화를 통해 렌더링합니다.

 

 

 

 

 

Citation

@article{li2023animatablegaussians,
  title={Animatable Gaussians: Learning Pose-dependent Gaussian Maps for High-fidelity Human Avatar Modeling},
  author={Li, Zhe and Zheng, Zerong and Wang, Lizhen and Liu, Yebin},
  journal={arXiv},
  year={2023}
}

 

 

웹사이트 템플릿을 제공해 주신 Lior Yariv 에게 감사드립니다.