GAFAR: Graph-Attention Feature-Augmentation for Registration A Fast and Light-weight Point Set Registration Algorithm

要約

点群の厳密な位置合わせは、3D シーンの再構成からジオメトリのキャプチャやロボティクスに至るまで、多くのアプリケーションに関わるコンピュータ ビジョンの基本的な問題です。
適切な初期登録が利用できる場合、ICP やその多くの変種などの従来の方法で適切なソリューションを提供できます。
適切な初期化が行われていない場合、外れ値率が高い場合、または重複が小さい場合は、厳密な位置合わせの作業には依然として大きな課題が伴います。
コンピューター ビジョンにおけるディープ ラーニングの出現により、従来の堅牢な手法の時間のかかる反復に依存する代わりに、表現力豊かな特徴表現を学習してワンショット推定を提供できる可能性が得られるため、このテーマに関する研究に新たな推進力がもたらされました。
しかし、点群の回転と順列が不変であるという性質は、深層学習にそれ自体の課題をもたらし、外れ値やネットワーク トレーニング中に存在しない 3D スキャンの特性に対する感度が原因でパフォーマンスが低下し、一般化能力が低下します。
この研究では、アテンション メカニズムを使用して推論時に点記述子を強化し、提示される特定の点群の登録タスクに最適に適合する、新しい高速かつ軽量のネットワーク アーキテクチャを紹介します。
点群内および点群間の両方で完全に接続されたグラフを採用することで、ネットワークは登録する点の重要性と信頼性を推論できるようになり、外れ値、重複の少ないデータ、および未確認のデータに対してアプローチが堅牢になります。
さまざまな登録および一般化タスクで登録アルゴリズムのパフォーマンスをテストし、実行時間とリソース消費に関する情報を提供します。
コードとトレーニングされた重みは、https://github.com/mordecaimalignatius/GAFAR/ で入手できます。

要約(オリジナル)

Rigid registration of point clouds is a fundamental problem in computer vision with many applications from 3D scene reconstruction to geometry capture and robotics. If a suitable initial registration is available, conventional methods like ICP and its many variants can provide adequate solutions. In absence of a suitable initialization and in the presence of a high outlier rate or in the case of small overlap though the task of rigid registration still presents great challenges. The advent of deep learning in computer vision has brought new drive to research on this topic, since it provides the possibility to learn expressive feature-representations and provide one-shot estimates instead of depending on time-consuming iterations of conventional robust methods. Yet, the rotation and permutation invariant nature of point clouds poses its own challenges to deep learning, resulting in loss of performance and low generalization capability due to sensitivity to outliers and characteristics of 3D scans not present during network training. In this work, we present a novel fast and light-weight network architecture using the attention mechanism to augment point descriptors at inference time to optimally suit the registration task of the specific point clouds it is presented with. Employing a fully-connected graph both within and between point clouds lets the network reason about the importance and reliability of points for registration, making our approach robust to outliers, low overlap and unseen data. We test the performance of our registration algorithm on different registration and generalization tasks and provide information on runtime and resource consumption. The code and trained weights are available at https://github.com/mordecaimalignatius/GAFAR/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google