DeepEMD: A Transformer-based Fast Estimation of the Earth Mover’s Distance

要約

Earth Mover’s Distance (EMD) は、点群間で選択される尺度です。
ただし、それを計算するための計算コストにより、トレーニング損失としては法外な金額になるため、標準的なアプローチは面取り距離などの代用値を使用することです。
生成モデルのトレーニング損失として使用できる EMD の正確な近似を計算するための注意ベースのモデルを提案します。
必要な勾配の正確な推定を取得するために、EMD 自体ではなく点群間のマッチングを明示的に計算するようにモデルをトレーニングします。
この新しい目標を、グラウンド トゥルース マッチング マトリックスを近似するアテンション マトリックスの推定として設定します。
実験によれば、このモデルは、正確なハンガリアン マッチング アルゴリズムに対して 2 桁以上、標準の近似シンクホーン アルゴリズムに対して 1 桁以上、壁時計の速度が向上し、EMD とその勾配の正確な推定を提供します。
これにより、特に EMD 自体を使用して点群 VAE をトレーニングできるようになります。
広範な評価により、距離サロゲートの重要な要件である分布外で動作する場合のこのモデルの顕著な動作が示されています。
最後に、モデルは、トレーニング中より数倍大きい推論中の点群に非常によく一般化されます。

要約(オリジナル)

The Earth Mover’s Distance (EMD) is the measure of choice between point clouds. However the computational cost to compute it makes it prohibitive as a training loss, and the standard approach is to use a surrogate such as the Chamfer distance. We propose an attention-based model to compute an accurate approximation of the EMD that can be used as a training loss for generative models. To get the necessary accurate estimation of the gradients we train our model to explicitly compute the matching between point clouds instead of EMD itself. We cast this new objective as the estimation of an attention matrix that approximates the ground truth matching matrix. Experiments show that this model provides an accurate estimate of the EMD and its gradient with a wall clock speed-up of more than two orders of magnitude with respect to the exact Hungarian matching algorithm and one order of magnitude with respect to the standard approximate Sinkhorn algorithm, allowing in particular to train a point cloud VAE with the EMD itself. Extensive evaluation show the remarkable behaviour of this model when operating out-of-distribution, a key requirement for a distance surrogate. Finally, the model generalizes very well to point clouds during inference several times larger than during training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google