Metric-Semantic Factor Graph Generation based on Graph Neural Networks

要約

幾何学的構造と意味概念の間の関係を理解することは、複雑な環境の正確なモデルを構築するために重要です。
屋内では、平面の相対的な位置など、特定の空間的制約は、レイアウトが変化しても一貫したままです。
この論文では、部屋や壁などの高レベルの概念を表現し、最適化可能なファクター グラフを通じてそれらを平面などの幾何学的要素にリンクすることで、これらの不変の関係をグラフ SLAM フレームワークでどのように捉えることができるかを検討します。
いくつかの取り組みでは、概念生成ごとにアドホックなソリューションを使用し、手動で定義した要素を使用して、この問題に取り組んできました。
この論文では、メトリック・セマンティック・ファクター・グラフ生成のための新しい方法を提案します。これには、セマンティック・シーン・グラフの定義、幾何学的情報の統合、相互接続因子の学習が含まれ、すべてグラフ・ニューラル・ネットワーク(GNN)に基づいています。
エッジ分類ネットワーク (G-GNN) は、平面間のエッジを同じ部屋、同じ壁、またはなしのタイプに分類します。
結果として得られる関係はクラスター化され、クラスターごとに部屋または壁が生成されます。
2 番目のネットワーク ファミリ (F-GNN) は、新しいノードの幾何学的原点を推測します。
因子の定義には、生成されたノードのメトリック属性に使用されるものと同じ F-GNN が使用されます。
さらに、新しいファクター グラフを S-Graphs+ アルゴリズムと共有し、そのグラフ表現力とシーン表現を拡張して、SLAM パフォーマンスを向上させるという最終目標を達成します。
L 字型の部屋でネットワークをトレーニングすることで、環境の複雑さが N 平面の部屋まで増加します。
必要な複雑なレイアウトの実際のデータセットが利用できないため、フレームワークは合成およびシミュレートされたシナリオで評価されます。

要約(オリジナル)

Understanding the relationships between geometric structures and semantic concepts is crucial for building accurate models of complex environments. In indoors, certain spatial constraints, such as the relative positioning of planes, remain consistent despite variations in layout. This paper explores how these invariant relationships can be captured in a graph SLAM framework by representing high-level concepts like rooms and walls, linking them to geometric elements like planes through an optimizable factor graph. Several efforts have tackled this issue with add-hoc solutions for each concept generation and with manually-defined factors. This paper proposes a novel method for metric-semantic factor graph generation which includes defining a semantic scene graph, integrating geometric information, and learning the interconnecting factors, all based on Graph Neural Networks (GNNs). An edge classification network (G-GNN) sorts the edges between planes into same room, same wall or none types. The resulting relations are clustered, generating a room or wall for each cluster. A second family of networks (F-GNN) infers the geometrical origin of the new nodes. The definition of the factors employs the same F-GNN used for the metric attribute of the generated nodes. Furthermore, share the new factor graph with the S-Graphs+ algorithm, extending its graph expressiveness and scene representation with the ultimate goal of improving the SLAM performance. The complexity of the environments is increased to N-plane rooms by training the networks on L-shaped rooms. The framework is evaluated in synthetic and simulated scenarios as no real datasets of the required complex layouts are available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google