PointAvatar: Deformable Point-based Head Avatars from Videos

要約

カジュアルなビデオ シーケンスから現実的で、アニメーション可能で、再点灯可能な頭部アバターを作成する機能は、通信およびエンターテイメントにおいて幅広いアプリケーションを開くでしょう。
現在の方法は、明示的な 3D モーフィング可能なメッシュ (3DMM) に基づいて構築するか、ニューラルの暗黙的な表現を利用します。
前者は固定トポロジによって制限されますが、後者は変形が容易ではなく、レンダリングが非効率的です。
さらに、既存のアプローチでは、色の推定に照明が絡み合っているため、新しい環境でアバターを再レンダリングする際に制限があります。
対照的に、ソースカラーを固有のアルベドと法線に依存するシェーディングに分解する、変形可能なポイントベースの表現である PointAvatar を提案します。
PointAvatar が既存のメッシュ表現と暗黙的表現の間のギャップを埋め、高品質のジオメトリと外観をトポロジーの柔軟性、変形の容易さ、およびレンダリング効率と組み合わせることを実証します。
私たちの方法は、ハンドヘルド スマートフォン、ラップトップのウェブカメラ、インターネット ビデオなどの複数のソースからの単眼ビデオを使用して、アニメーション化可能な 3D アバターを生成できることを示しています。
競合する方法よりもトレーニングの効率が大幅に向上します。

要約(オリジナル)

The ability to create realistic, animatable and relightable head avatars from casual video sequences would open up wide ranging applications in communication and entertainment. Current methods either build on explicit 3D morphable meshes (3DMM) or exploit neural implicit representations. The former are limited by fixed topology, while the latter are non-trivial to deform and inefficient to render. Furthermore, existing approaches entangle lighting in the color estimation, thus they are limited in re-rendering the avatar in new environments. In contrast, we propose PointAvatar, a deformable point-based representation that disentangles the source color into intrinsic albedo and normal-dependent shading. We demonstrate that PointAvatar bridges the gap between existing mesh- and implicit representations, combining high-quality geometry and appearance with topological flexibility, ease of deformation and rendering efficiency. We show that our method is able to generate animatable 3D avatars using monocular videos from multiple sources including hand-held smartphones, laptop webcams and internet videos, achieving state-of-the-art quality in challenging cases where previous methods fail, e.g., thin hair strands, while being significantly more efficient in training than competing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google