SEEK: Semantic Reasoning for Object Goal Navigation in Real World Inspection Tasks

要約

この論文では、現実世界の環境における自律検査におけるオブジェクトとゴールのナビゲーションの問題を扱います。
オブジェクトとゴールのナビゲーションは、さまざまな設定で効果的な検査を可能にするために重要であり、多くの場合、ロボットが広い探索空間内でターゲットオブジェクトを識別する必要があります。
現在の物体検査方法は、通常、人間のように事前の常識的な知識をブートストラップすることができないため、人間の効率には達していません。
この論文では、ロボットが環境の事前の空間構成からの意味的知識と意味的常識知識を使用できるようにするフレームワークを紹介します。
私たちは、意味論的な事前知識とロボットの観察を組み合わせて、ターゲットオブジェクトをより効率的に検索し、そこに向かってナビゲートする SEEK (オブジェクト検査タスクの意味論的推論) を提案します。
SEEK は、ダイナミック シーン グラフ (DSG) とリレーショナル セマンティック ネットワーク (RSN) の 2 つの表現を維持します。
RSN は、DSG 内の空間要素全体でターゲット オブジェクトを見つける確率を推定する、コンパクトで実用的なモデルです。
関係意味論的知識を使用してオブジェクトを検索するための新しい確率的計画フレームワークを提案します。
私たちのシミュレーション分析は、オブジェクト目標検査タスクの効率の点で、SEEK がこの研究で検討した従来の計画および大規模言語モデル (LLM) ベースの方法よりも優れていることを示しています。
私たちは都市環境における物理的な脚式ロボットに対するアプローチを検証し、現実世界の検査シナリオでの実用性と有効性を示しました。

要約(オリジナル)

This paper addresses the problem of object-goal navigation in autonomous inspections in real-world environments. Object-goal navigation is crucial to enable effective inspections in various settings, often requiring the robot to identify the target object within a large search space. Current object inspection methods fall short of human efficiency because they typically cannot bootstrap prior and common sense knowledge as humans do. In this paper, we introduce a framework that enables robots to use semantic knowledge from prior spatial configurations of the environment and semantic common sense knowledge. We propose SEEK (Semantic Reasoning for Object Inspection Tasks) that combines semantic prior knowledge with the robot’s observations to search for and navigate toward target objects more efficiently. SEEK maintains two representations: a Dynamic Scene Graph (DSG) and a Relational Semantic Network (RSN). The RSN is a compact and practical model that estimates the probability of finding the target object across spatial elements in the DSG. We propose a novel probabilistic planning framework to search for the object using relational semantic knowledge. Our simulation analyses demonstrate that SEEK outperforms the classical planning and Large Language Models (LLMs)-based methods that are examined in this study in terms of efficiency for object-goal inspection tasks. We validated our approach on a physical legged robot in urban environments, showcasing its practicality and effectiveness in real-world inspection scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google