Tri$^{2}$-plane: Volumetric Avatar Reconstruction with Feature Pyramid

要約

近年、ニューラル ボリューム レンダリングを使用した顔アバターの再構成において、多大な成果が上げられています。
顕著な進歩にもかかわらず、単眼ビデオからの複雑で動的な頭部の動きの再構築では、依然としてきめの細かい詳細をキャプチャして復元することが困難です。
この研究では、単眼の写実的な体積頭部アバター再構築のための、Tri$^2$-plane と呼ばれる新しいアプローチを提案します。
動的な顔のモデリングに単一のトライプレーン変形フィールドに依存する既存の作品とは異なり、提案された Tri$^2$ プレーンは、フィーチャー ピラミッドの原理と 3 つの上から下への横方向の接続トライプレーンを利用して細部を改善しています。
。
複数のスケールで顔の詳細をサンプリングしてレンダリングし、顔全体から特定の局所領域、さらに洗練されたサブ領域に移行します。
さらに、トレーニングの強化としてカメラベースのジオメトリ認識スライディング ウィンドウ法を組み込んでおり、これにより標準空間を超えた堅牢性が向上し、特にクロスアイデンティティ生成機能が向上します。
実験結果は、Tri$^2$平面が既存の方法論を上回るだけでなく、実験を通じて定量的指標と定性的評価の両方にわたって優れたパフォーマンスを達成することを示しています。

要約(オリジナル)

Recent years have witnessed considerable achievements in facial avatar reconstruction with neural volume rendering. Despite notable advancements, the reconstruction of complex and dynamic head movements from monocular videos still suffers from capturing and restoring fine-grained details. In this work, we propose a novel approach, named Tri$^2$-plane, for monocular photo-realistic volumetric head avatar reconstructions. Distinct from the existing works that rely on a single tri-plane deformation field for dynamic facial modeling, the proposed Tri$^2$-plane leverages the principle of feature pyramids and three top-to-down lateral connections tri-planes for details improvement. It samples and renders facial details at multiple scales, transitioning from the entire face to specific local regions and then to even more refined sub-regions. Moreover, we incorporate a camera-based geometry-aware sliding window method as an augmentation in training, which improves the robustness beyond the canonical space, with a particular improvement in cross-identity generation capabilities. Experimental outcomes indicate that the Tri$^2$-plane not only surpasses existing methodologies but also achieves superior performance across both quantitative metrics and qualitative assessments through experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google