InstantAvatar: Efficient 3D Head Reconstruction via Surface Rendering

要約

全頭再構成における最近の進歩は、微分可能な表面またはボリューム レンダリングを通じて単一のシーンを表現する神経フィールドを最適化することによって得られています。
これらの技術は前例のない精度を達成しますが、高価な最適化プロセスが必要となるため、数分、場合によっては数時間かかります。
この研究では、市販のハードウェア上で数秒間で少数の画像 (たった 1 枚まで) から全身アバターを復元する方法である InstantAvatar を紹介します。
再構成プロセスを高速化するために、ボクセル グリッドのニューラル フィールド表現とサーフェス レンダラーを初めて組み合わせたシステムを提案します。
特に、これら 2 つの手法を単純に組み合わせると、有効な解に収束しない不安定な最適化が発生します。
この制限を克服するために、ボクセル グリッド ベースのアーキテクチャを使用して 3D 頭部符号付き距離関数にわたる事前分布を学習する新しい統計モデルを提案します。
この従来のモデルを他の設計選択肢と組み合わせて使用​​すると、100 倍のスピードアップで最先端技術と同等の精度で 3D 頭部再構成を達成するシステムが実現します。

要約(オリジナル)

Recent advances in full-head reconstruction have been obtained by optimizing a neural field through differentiable surface or volume rendering to represent a single scene. While these techniques achieve an unprecedented accuracy, they take several minutes, or even hours, due to the expensive optimization process required. In this work, we introduce InstantAvatar, a method that recovers full-head avatars from few images (down to just one) in a few seconds on commodity hardware. In order to speed up the reconstruction process, we propose a system that combines, for the first time, a voxel-grid neural field representation with a surface renderer. Notably, a naive combination of these two techniques leads to unstable optimizations that do not converge to valid solutions. In order to overcome this limitation, we present a novel statistical model that learns a prior distribution over 3D head signed distance functions using a voxel-grid based architecture. The use of this prior model, in combination with other design choices, results into a system that achieves 3D head reconstructions with comparable accuracy as the state-of-the-art with a 100x speed-up.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google