Neural Shape Deformation Priors

要約

ユーザーが提供するハンドルの動きから非剛体オブジェクトのメッシュ変形を予測する形状操作の新しい方法である Neural Shape Deformation Priors を紹介します。
最先端の方法では、この問題を最適化タスクとして投げかけます。そこでは、入力ソース メッシュが反復的に変形され、ARAP などの手作りの正則化に従って目的関数が最小化されます。
この作業では、非剛体変形の多様なセットを含む大規模なデータセットを活用しながら、形状の基礎となる幾何学的特性に基づいて変形動作を学習します。
具体的には、ソース メッシュと、部分サーフェス変形を記述するハンドルの目的のターゲット位置が与えられた場合、空間変形を記述するために 3D 空間で定義される連続変形フィールドを予測します。
この目的のために、形状の変形を局所的な表面変形の合成として表す変換器ベースの変形ネットワークを導入します。
3D 空間に固定された一連のローカル潜在コードを学習し、そこからローカル サーフェスの一連の連続変形関数を学習できます。
私たちの方法は、困難な変形に適用でき、目に見えない変形にも一般化できます。
DeformingThing4D データセットを使用した実験でアプローチを検証し、従来の最適化ベースの方法と最近のニューラル ネットワーク ベースの方法の両方と比較します。

要約(オリジナル)

We present Neural Shape Deformation Priors, a novel method for shape manipulation that predicts mesh deformations of non-rigid objects from user-provided handle movements. State-of-the-art methods cast this problem as an optimization task, where the input source mesh is iteratively deformed to minimize an objective function according to hand-crafted regularizers such as ARAP. In this work, we learn the deformation behavior based on the underlying geometric properties of a shape, while leveraging a large-scale dataset containing a diverse set of non-rigid deformations. Specifically, given a source mesh and desired target locations of handles that describe the partial surface deformation, we predict a continuous deformation field that is defined in 3D space to describe the space deformation. To this end, we introduce transformer-based deformation networks that represent a shape deformation as a composition of local surface deformations. It learns a set of local latent codes anchored in 3D space, from which we can learn a set of continuous deformation functions for local surfaces. Our method can be applied to challenging deformations and generalizes well to unseen deformations. We validate our approach in experiments using the DeformingThing4D dataset, and compare to both classic optimization-based and recent neural network-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google