Dynamic Point Fields

要約

タイトル: Dynamic Point Fields
要約:
– ニューラルサーフェス再構成の分野で大幅な進歩があった。
– 既存の手法はボリューメトリックおよび暗黙的アプローチに重点が置かれているが、点群のような明示的なグラフィックス原理を利用することにより、計算の複雑さを軽減できることが示されている。
– しかしながら、より少ない力がダイナミックな表面をモデル化するために注がれてきた。そこで、本研究では、暗黙的変形ネットワークを組み合わせた動的なポイントフィールドモデルを提案し、非剛体3D表面の効率的なモデリングを可能にします。
– 明示的な表面原理を使用することは、アイソメトリック正則化などの確立された制約を簡単に組み込むことができることも示しています。
– 完全な非監督学習でトレーニングすると、この変形モデルの学習はローカルオプティマに陥りやすいが、モデルに動的な情報（例えばキーポイントダイナミクス）を組み込んで学習を行うことができる。
– 顔のアバターを作成するために提案された例題アプリケーションにおいて、ポイントフィールドフレームワークによる表現力、学習効率、アウトオブディストリビューションノベルポーズへの堅牢性の利点を示すことができた。

要約(オリジナル)

Recent years have witnessed significant progress in the field of neural surface reconstruction. While the extensive focus was put on volumetric and implicit approaches, a number of works have shown that explicit graphics primitives such as point clouds can significantly reduce computational complexity, without sacrificing the reconstructed surface quality. However, less emphasis has been put on modeling dynamic surfaces with point primitives. In this work, we present a dynamic point field model that combines the representational benefits of explicit point-based graphics with implicit deformation networks to allow efficient modeling of non-rigid 3D surfaces. Using explicit surface primitives also allows us to easily incorporate well-established constraints such as-isometric-as-possible regularisation. While learning this deformation model is prone to local optima when trained in a fully unsupervised manner, we propose to additionally leverage semantic information such as keypoint dynamics to guide the deformation learning. We demonstrate our model with an example application of creating an expressive animatable human avatar from a collection of 3D scans. Here, previous methods mostly rely on variants of the linear blend skinning paradigm, which fundamentally limits the expressivity of such models when dealing with complex cloth appearances such as long skirts. We show the advantages of our dynamic point field framework in terms of its representational power, learning efficiency, and robustness to out-of-distribution novel poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI