Graph2Nav: 3D Object-Relation Graph Generation to Robot Navigation

要約

現実世界での自律的なナビゲーションのために、リアルタイムの3Dオブジェクト関連グラフ生成フレームワークであるGraph2Navを提案します。
私たちのフレームワークは、3Dレイヤードシーングラフの3Dオブジェクトとオブジェクト間のセマンティック関係の両方のセットの両方を完全に生成および悪用します。これは、屋内と屋外シーンの両方に適用されます。
最新の2Dパノプティックシーングラフを活用して進め、3Dセマンティックマッピング技術を介して3Dワールドに機能することにより、オブジェクト間の3Dセマンティック関係を生成することを学びます。
このアプローチは、3Dデータから直接3Dシーングラフを学習する際の以前のトレーニングデータの制約を回避します。
3Dオブジェクトの検索と3Dシーングラフでオブジェクト関連のラベル付けにおける精度を検証するための実験を実施します。
また、大規模な言語モデルに基づいた最先端のプランナーであるSaynavとの統合を介してGraph2Navの影響を評価します。
私たちの結果は、シーングラフのオブジェクト関係をモデリングすることで、これらのナビゲーションタスクの検索効率が向上することを示しています。

要約(オリジナル)

We propose Graph2Nav, a real-time 3D object-relation graph generation framework, for autonomous navigation in the real world. Our framework fully generates and exploits both 3D objects and a rich set of semantic relationships among objects in a 3D layered scene graph, which is applicable to both indoor and outdoor scenes. It learns to generate 3D semantic relations among objects, by leveraging and advancing state-of-the-art 2D panoptic scene graph works into the 3D world via 3D semantic mapping techniques. This approach avoids previous training data constraints in learning 3D scene graphs directly from 3D data. We conduct experiments to validate the accuracy in locating 3D objects and labeling object-relations in our 3D scene graphs. We also evaluate the impact of Graph2Nav via integration with SayNav, a state-of-the-art planner based on large language models, on an unmanned ground robot to object search tasks in real environments. Our results demonstrate that modeling object relations in our scene graphs improves search efficiency in these navigation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google