VoroNav: Voronoi-based Zero-shot Object Navigation with Large Language Model

要約

家庭用ロボットの分野では、ゼロショット オブジェクト ナビゲーション (ZSON) タスクにより、エージェントは事前の明示的なトレーニングなしで、なじみのない環境を巧みに移動し、新しいカテゴリからオブジェクトを見つけることができます。
この論文では、リアルタイムで構築されたセマンティック マップから探索パスと計画ノードを抽出する縮小ボロノイ グラフを提案する新しいセマンティック探索フレームワークである VoroNav を紹介します。
VoroNav は、トポロジー情報とセマンティック情報を利用して、大規模言語モデル (LLM) で容易に解釈できるパスと画像のテキストベースの記述を設計します。
私たちのアプローチは、経路と遠方の記述の相乗効果を提示して環境コンテキストを表現し、LLM が常識的な推論を適用してナビゲーションに最適なウェイポイントを確認できるようにします。
HM3D および HSSD データセットの広範な評価により、VoroNav が成功率と探索効率の両方で既存の ZSON ベンチマークを上回っていることが検証されています (HM3D では +2.8% 成功と +3.7% SPL、HSSD では +2.6% 成功と +3.8% SPL)。
さらに、障害物回避能力と知覚効率を評価する指標を導入することで、ZSON 計画の手法によって達成される機能強化がさらに裏付けられます。

要約(オリジナル)

In the realm of household robotics, the Zero-Shot Object Navigation (ZSON) task empowers agents to adeptly traverse unfamiliar environments and locate objects from novel categories without prior explicit training. This paper introduces VoroNav, a novel semantic exploration framework that proposes the Reduced Voronoi Graph to extract exploratory paths and planning nodes from a semantic map constructed in real time. By harnessing topological and semantic information, VoroNav designs text-based descriptions of paths and images that are readily interpretable by a large language model (LLM). Our approach presents a synergy of path and farsight descriptions to represent the environmental context, enabling the LLM to apply commonsense reasoning to ascertain the optimal waypoints for navigation. Extensive evaluation on the HM3D and HSSD datasets validates that VoroNav surpasses existing ZSON benchmarks in both success rates and exploration efficiency (+2.8% Success and +3.7% SPL on HM3D, +2.6% Success and +3.8% SPL on HSSD). Additionally introduced metrics that evaluate obstacle avoidance proficiency and perceptual efficiency further corroborate the enhancements achieved by our method in ZSON planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google