Searching Dense Point Correspondences via Permutation Matrix Learning

要約

3D 点群データは、3D 信号表現の一般的な形式として広く注目されていますが、点群を 3D 形状間の密な対応推定のタスクに適用することは広く調査されていません。
さらに、いくつかの既存の 3D 点群ベースの方法でも、重要で広く認められている原則、つまり .
1 対 1 のマッチングは通常無視されます。
それに応じて、この論文では、3D点群の密な対応を推定するための新しいエンドツーエンドの学習ベースの方法を提示します。この方法では、点マッチングの問題がゼロ1割り当て問題として定式化され、順列マッチング行列が得られます。
一対一の原則を根本的に実践する。
この割り当て問題の古典的な解は常に微分不可能であることに注意してください。これは、深層学習フレームワークにとって致命的です。
したがって、最初に二重確率行列を解き、次に、この得られた近似解を目的の順列行列に射影する、特別なマッチング モジュールを設計します。
さらに、エンドツーエンドの学習と計算された損失の精度を保証するために、学習した置換行列から損失を計算しますが、逆方向伝搬中に置換行列をバイパスする二重確率行列に勾配を直接伝搬します。
私たちの方法は、非剛体および剛体の 3D 点群データの両方に適用でき、広範な実験により、この方法が高密度対応学習の最先端のパフォーマンスを達成することが示されています。

要約(オリジナル)

Although 3D point cloud data has received widespread attentions as a general form of 3D signal expression, applying point clouds to the task of dense correspondence estimation between 3D shapes has not been investigated widely. Furthermore, even in the few existing 3D point cloud-based methods, an important and widely acknowledged principle, i.e . one-to-one matching, is usually ignored. In response, this paper presents a novel end-to-end learning-based method to estimate the dense correspondence of 3D point clouds, in which the problem of point matching is formulated as a zero-one assignment problem to achieve a permutation matching matrix to implement the one-to-one principle fundamentally. Note that the classical solutions of this assignment problem are always non-differentiable, which is fatal for deep learning frameworks. Thus we design a special matching module, which solves a doubly stochastic matrix at first and then projects this obtained approximate solution to the desired permutation matrix. Moreover, to guarantee end-to-end learning and the accuracy of the calculated loss, we calculate the loss from the learned permutation matrix but propagate the gradient to the doubly stochastic matrix directly which bypasses the permutation matrix during the backward propagation. Our method can be applied to both non-rigid and rigid 3D point cloud data and extensive experiments show that our method achieves state-of-the-art performance for dense correspondence learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google