Self-Supervised Learning for Multimodal Non-Rigid 3D Shape Matching

要約

3D 形状のマッチングは、点群として表される形状だけでなく、サーフェス メッシュとして表される形状についても広く研究されています。
点群は生の現実世界の 3D データ (レーザー スキャナーなどから) の一般的な表現ですが、メッシュは豊富で表現力豊かなトポロジ情報をエンコードしますが、それらの作成には通常、何らかの形式 (多くの場合手動) のキュレーションが必要です。
次に、純粋に点群に依存する方法は、追加のトポロジ構造を利用するメッシュベースの方法の一致する品質を満たすことができません。
この作業では、メッシュベースの関数マップの正則化と、メッシュと点群データを結合する対照的な損失を組み合わせた自己教師付きマルチモーダル学習戦略を導入することで、このギャップを埋めます。
当社のシェイプ マッチング アプローチにより、三角形メッシュ、完全なポイント クラウド、部分的に観測されたポイント クラウドのイントラモーダル対応、およびこれらのデータ モダリティ間の対応を取得できます。
私たちの方法が、最近の教師あり方法と比較しても、いくつかの困難なベンチマーク データセットで最先端の結果を達成すること、および私たちの方法が以前には見られなかったデータセット間の一般化能力に到達することを示します。

要約(オリジナル)

The matching of 3D shapes has been extensively studied for shapes represented as surface meshes, as well as for shapes represented as point clouds. While point clouds are a common representation of raw real-world 3D data (e.g. from laser scanners), meshes encode rich and expressive topological information, but their creation typically requires some form of (often manual) curation. In turn, methods that purely rely on point clouds are unable to meet the matching quality of mesh-based methods that utilise the additional topological structure. In this work we close this gap by introducing a self-supervised multimodal learning strategy that combines mesh-based functional map regularisation with a contrastive loss that couples mesh and point cloud data. Our shape matching approach allows to obtain intramodal correspondences for triangle meshes, complete point clouds, and partially observed point clouds, as well as correspondences across these data modalities. We demonstrate that our method achieves state-of-the-art results on several challenging benchmark datasets even in comparison to recent supervised methods, and that our method reaches previously unseen cross-dataset generalisation ability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google