SG-PGM: Partial Graph Matching Network with Semantic Geometric Fusion for 3D Scene Graph Alignment and Its Downstream Tasks

要約

シーン グラフは、最近、シーンの包括的な表現として 3D 空間理解に導入されました。
3D シーン グラフ間の位置合わせは、シーン グラフによる点群登録、モザイク処理、オーバーラップ チェック、ロボット ナビゲーションなどの多くの下流タスクの最初のステップです。
この研究では、3D シーンのグラフの位置合わせを部分的なグラフ マッチング問題として扱い、グラフ ニューラル ネットワークを使用してそれを解決することを提案します。
点群登録方法によって学習された幾何学的特徴を再利用し、設計された特徴融合モジュールを介して、クラスター化された点レベルの幾何学的特徴をノードレベルの意味論的特徴と関連付けます。
部分マッチングは、上位 k 個の類似ノード ペアを選択する学習可能な方法を使用することで有効になります。
点群登録などの後続の下流タスクは、一致した領域内で事前トレーニングされた登録ネットワークを実行することによって実現されます。
さらに、3D シーン グラフのノードごとの位置合わせを使用して、事前にトレーニングされた点群登録方法から一致候補を再重み付けする、点マッチング再スコアリング方法を提案します。
これにより、特に重複が少ない場合に推定される誤った点対応が減少します。
実験の結果、私たちの方法は、低オーバーラップおよびランダム変換シナリオでアライメント精度を 10 ～ 20% 向上させ、複数の下流タスクにおける既存の作業を上回るパフォーマンスを示すことが示されています。

要約(オリジナル)

Scene graphs have been recently introduced into 3D spatial understanding as a comprehensive representation of the scene. The alignment between 3D scene graphs is the first step of many downstream tasks such as scene graph aided point cloud registration, mosaicking, overlap checking, and robot navigation. In this work, we treat 3D scene graph alignment as a partial graph-matching problem and propose to solve it with a graph neural network. We reuse the geometric features learned by a point cloud registration method and associate the clustered point-level geometric features with the node-level semantic feature via our designed feature fusion module. Partial matching is enabled by using a learnable method to select the top-k similar node pairs. Subsequent downstream tasks such as point cloud registration are achieved by running a pre-trained registration network within the matched regions. We further propose a point-matching rescoring method, that uses the node-wise alignment of the 3D scene graph to reweight the matching candidates from a pre-trained point cloud registration method. It reduces the false point correspondences estimated especially in low-overlapping cases. Experiments show that our method improves the alignment accuracy by 10~20% in low-overlap and random transformation scenarios and outperforms the existing work in multiple downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google