Dynamic Point Fields

要約

タイトル：Dynamic Point Fields
要約：
– ニューラル表面再構成の分野では、容積ベースと暗黙的アプローチに重点が置かれてきたが、点群などの明示的グラフィックスプリミティブでも表面の品質を犠牲にすることなく、計算の複雑さを大幅に減らすことができることを示す研究がいくつかある。
– しかし、ポイントプリミティブを使用した動的表面のモデリングにはまだ十分な注目がされておらず、この論文では、明示的ポイントベースのグラフィックスの表現上の利点と暗黙の変形ネットワークを組み合わせた動的ポイントフィールドモデルを紹介し、非剛体3D表面の効率的なモデリングを可能にする。
– 明示的表面プリミティブの使用により、等距変形可能な正則化などの既存の拘束条件を容易に組み込むことができる。
– 完全に非監督学習でトレーニングされる場合、この変形モデルを学習することは局所的な最適解に陥る可能性があるため、キーポイント動態などの意味情報を活用して変形学習をさらに支援することを提案している。
– このモデルを実証するために、3Dスキャンのコレクションから表情豊かなアニメーション可能な人間のアバターを作成する例のアプリケーションを示した。従来の方法は、基本的には複雑な衣服の外観（長いスカートなど）を扱う場合にこれらのモデルの表現力を制限している線形ブレンドスキンパラダイムのバリアントに頼っている。動的ポイントフィールドフレームワークの利点は、表現力、学習効率、および分布外の新しい姿勢に対する堅牢性の点で示される。

要約(オリジナル)

Recent years have witnessed significant progress in the field of neural surface reconstruction. While the extensive focus was put on volumetric and implicit approaches, a number of works have shown that explicit graphics primitives such as point clouds can significantly reduce computational complexity, without sacrificing the reconstructed surface quality. However, less emphasis has been put on modeling dynamic surfaces with point primitives. In this work, we present a dynamic point field model that combines the representational benefits of explicit point-based graphics with implicit deformation networks to allow efficient modeling of non-rigid 3D surfaces. Using explicit surface primitives also allows us to easily incorporate well-established constraints such as-isometric-as-possible regularisation. While learning this deformation model is prone to local optima when trained in a fully unsupervised manner, we propose to additionally leverage semantic information such as keypoint dynamics to guide the deformation learning. We demonstrate our model with an example application of creating an expressive animatable human avatar from a collection of 3D scans. Here, previous methods mostly rely on variants of the linear blend skinning paradigm, which fundamentally limits the expressivity of such models when dealing with complex cloth appearances such as long skirts. We show the advantages of our dynamic point field framework in terms of its representational power, learning efficiency, and robustness to out-of-distribution novel poses.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI