4Deform: Neural Surface Deformation for Robust Shape Interpolation

要約

非剛性変形した形状の間に現実的な中間形状を生成することは、特にフレーム間の時間的一貫性が欠けており、トポロジが変化している構造化されていないデータ（例：ポイントクラウド）の場合、コンピュータービジョンの困難なタスクです。
ほとんどの補間方法は、構造化データ（つまり、メッシュ）用に設計されており、実際のポイントクラウドには適用されません。
対照的に、私たちのアプローチである4Deformは、神経暗黙の表現（NIR）を活用して、形状変形を変える自由なトポロジを可能にします。
頂点ベースの変形場を学習する以前のメッシュベースの方法とは異なり、この方法はユークリッド空間の連続速度フィールドを学習します。
したがって、ポイントクラウドなどの構造化されていないデータに適しています。
さらに、私たちの方法では、トレーニング中に中間形状の監督を必要としません。
代わりに、速度フィールドを正規化するために、物理的および幾何学的な制約を組み込みます。
NIRと速度フィールドを直接リンクする、修正されたレベルセット方程式を使用して中間表面を再構築します。
実験は、私たちの方法が、さまざまなシナリオ（例えば、ノイジー、部分、トポロジ、非等式形状など）にわたって以前のNIRアプローチを大幅に上回ることを示しており、4D Kinectシーケンスアップサンプリングや実世界の高解像度メッシュの変化などの新しいアプリケーションを初めて可能にします。

要約(オリジナル)

Generating realistic intermediate shapes between non-rigidly deformed shapes is a challenging task in computer vision, especially with unstructured data (e.g., point clouds) where temporal consistency across frames is lacking, and topologies are changing. Most interpolation methods are designed for structured data (i.e., meshes) and do not apply to real-world point clouds. In contrast, our approach, 4Deform, leverages neural implicit representation (NIR) to enable free topology changing shape deformation. Unlike previous mesh-based methods that learn vertex-based deformation fields, our method learns a continuous velocity field in Euclidean space. Thus, it is suitable for less structured data such as point clouds. Additionally, our method does not require intermediate-shape supervision during training; instead, we incorporate physical and geometrical constraints to regularize the velocity field. We reconstruct intermediate surfaces using a modified level-set equation, directly linking our NIR with the velocity field. Experiments show that our method significantly outperforms previous NIR approaches across various scenarios (e.g., noisy, partial, topology-changing, non-isometric shapes) and, for the first time, enables new applications like 4D Kinect sequence upsampling and real-world high-resolution mesh deformation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google