Learning Topology Uniformed Face Mesh by Volume Rendering for Multi-view Reconstruction

要約

一貫したトポロジの顔メッシュは、3DMM 制約付き顔の再構成や表情のリターゲットなど、多くの顔関連アプリケーションの基盤として機能します。
従来の方法では、一般に 2 つの別々のステップによってトポロジーの均一化された面メッシュを取得します。形状を再構築するマルチビュー ステレオ (MVS) と、その後にトポロジーを調整するための非剛体レジストレーションが続きますが、ノイズと非ランバーシアン サーフェスの処理に苦労します。
最近、ニューラル ボリューム レンダリング技術が急速に進化し、3D 再構成や新しいビューの合成において大きな利点が示されています。
私たちの目標は、ニューラル ボリューム レンダリングの優位性を活用して、一貫したトポロジーで顔メッシュのマルチビュー再構築を行うことです。
私たちは、トポロジーを維持しながらメッシュ ジオメトリを直接最適化し、暗黙の特徴を学習して多視点画像から複雑な顔の外観をモデル化できるメッシュ ボリューム レンダリング手法を提案します。
主要な革新は、まばらなメッシュ フィーチャを周囲の空間に広げて、ボリューム レンダリングに必要な放射輝度フィールドをシミュレートすることにあり、これにより、画像からメッシュ ジオメトリおよび暗黙的な外観フィーチャへの勾配の逆伝播が容易になります。
私たちが提案する特徴拡散モジュールは変形不変性を示し、メッシュ編集後にシームレスにフォトリアリスティックなレンダリングを可能にします。
私たちは、多視点の顔画像データセットで実験を行って再構築を評価し、アニメーション顔メッシュのフォトリアリスティックなレンダリングのためのアプリケーションを実装します。

要約(オリジナル)

Face meshes in consistent topology serve as the foundation for many face-related applications, such as 3DMM constrained face reconstruction and expression retargeting. Traditional methods commonly acquire topology uniformed face meshes by two separate steps: multi-view stereo (MVS) to reconstruct shapes followed by non-rigid registration to align topology, but struggles with handling noise and non-lambertian surfaces. Recently neural volume rendering techniques have been rapidly evolved and shown great advantages in 3D reconstruction or novel view synthesis. Our goal is to leverage the superiority of neural volume rendering into multi-view reconstruction of face mesh with consistent topology. We propose a mesh volume rendering method that enables directly optimizing mesh geometry while preserving topology, and learning implicit features to model complex facial appearance from multi-view images. The key innovation lies in spreading sparse mesh features into the surrounding space to simulate radiance field required for volume rendering, which facilitates backpropagation of gradients from images to mesh geometry and implicit appearance features. Our proposed feature spreading module exhibits deformation invariance, enabling photorealistic rendering seamlessly after mesh editing. We conduct experiments on multi-view face image dataset to evaluate the reconstruction and implement an application for photorealistic rendering of animated face mesh.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google