SPE-Net: Boosting Point Cloud Analysis via Rotation Robustness Enhancement

要約

この論文では、SPE-Netと名付けられた、3Dポイントクラウドアプリケーション向けに調整された新しいディープアーキテクチャを提案します。
組み込まれた「選択的位置符号化 (SPE)」手続きは、入力の根底にある回転条件に効果的に注意を向けることができる注意メカニズムに依存しています。
このようなエンコードされた回転条件は、ネットワーク パラメーターのどの部分に注目するかを決定し、トレーニング中の最適化の自由度を効率的に減らすのに役立つことが示されています。
このメカニズムは、トレーニングの難しさを軽減することでローテーションの増強をより有効に活用できるようになり、トレーニングとテストの両方でローテーションされたデータに対して SPE-Net を堅牢にします。
私たちの論文の新しい発見はまた、抽出された回転情報と実際のテスト精度との関係を再考することを私たちに促します.
興味深いことに、SPE-Net を介して回転情報をローカルにエンコードすることにより、実際のグローバル回転なしでテスト サンプルに利益をもたらす上で、回転不変機能が依然として非常に重要であるという証拠を明らかにします。
SPE-Net と関連する仮説のメリットを 4 つのベンチマークで経験的に実証し、SOTA メソッドよりも回転したテスト データと回転していないテスト データの両方で明らかな改善を示しています。
ソース コードは、https://github.com/ZhaofanQiu/SPE-Net で入手できます。

要約(オリジナル)

In this paper, we propose a novel deep architecture tailored for 3D point cloud applications, named as SPE-Net. The embedded “Selective Position Encoding (SPE)” procedure relies on an attention mechanism that can effectively attend to the underlying rotation condition of the input. Such encoded rotation condition then determines which part of the network parameters to be focused on, and is shown to efficiently help reduce the degree of freedom of the optimization during training. This mechanism henceforth can better leverage the rotation augmentations through reduced training difficulties, making SPE-Net robust against rotated data both during training and testing. The new findings in our paper also urge us to rethink the relationship between the extracted rotation information and the actual test accuracy. Intriguingly, we reveal evidences that by locally encoding the rotation information through SPE-Net, the rotation-invariant features are still of critical importance in benefiting the test samples without any actual global rotation. We empirically demonstrate the merits of the SPE-Net and the associated hypothesis on four benchmarks, showing evident improvements on both rotated and unrotated test data over SOTA methods. Source code is available at https://github.com/ZhaofanQiu/SPE-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google