AvatarCap: Animatable Avatar Conditioned Monocular Human Volumetric Capture

要約

本論文では、単眼での人間の体積キャプチャにおいて、部分的な観察によって引き起こされる非論理的な問題に対処するために、可視および不可視領域の両方で高忠実度の再構成のためのキャプチャパイプラインにアニメーション可能なアバターを導入する新しいフレームワークを提示する。本手法は、まず、少数の（〜20）3Dスキャンから、事前準備として、被験者のアニメーション可能なアバターを作成する。次に、この被写体の単眼RGB映像が与えられると、本手法は、画像観測とアバター事前情報の両方からの情報を統合し、それに応じて、可視性に関わらず動的な細部を持つ高忠実度の3次元テクスチャモデルを再構築する。本手法は、わずかなサンプル数から体積計測に有効なアバターを学習するために、幾何学とテクスチャの両監督を活用し、姿勢依存のダイナミクスを暗黙的に制約するGeoTexAvatarを提案する。さらに、正準法規融合と再構成ネットワークを用いたアバター条件付き体積計測法を提案し、画像観測とアバターダイナミクスの両方を統合して、観測領域と不可視領域の両方において高忠実度の再構成を実現する。本手法は、詳細かつポーズに依存したダイナミクスを持つ単眼式人間の体積計測を可能にし、実験により本手法が最先端の技術を凌駕することを示す。コードは https://github.com/lizhe00/AvatarCap で公開されています。

要約(オリジナル)

To address the ill-posed problem caused by partial observations in monocular human volumetric capture, we present AvatarCap, a novel framework that introduces animatable avatars into the capture pipeline for high-fidelity reconstruction in both visible and invisible regions. Our method firstly creates an animatable avatar for the subject from a small number (~20) of 3D scans as a prior. Then given a monocular RGB video of this subject, our method integrates information from both the image observation and the avatar prior, and accordingly recon-structs high-fidelity 3D textured models with dynamic details regardless of the visibility. To learn an effective avatar for volumetric capture from only few samples, we propose GeoTexAvatar, which leverages both geometry and texture supervisions to constrain the pose-dependent dynamics in a decomposed implicit manner. An avatar-conditioned volumetric capture method that involves a canonical normal fusion and a reconstruction network is further proposed to integrate both image observations and avatar dynamics for high-fidelity reconstruction in both observed and invisible regions. Overall, our method enables monocular human volumetric capture with detailed and pose-dependent dynamics, and the experiments show that our method outperforms state of the art. Code is available at https://github.com/lizhe00/AvatarCap.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL