Language to Map: Topological map generation from natural language path instructions

要約

本論文では、自然言語で記述されたパス情報（テキストパス）から地図を生成する手法を提案する。
近年、ロボット研究は主に、画像とテキストパスに基づくナビゲーションタスクである視覚と言語ナビゲーション (VLN) に焦点を当てています。
VLN はユーザーによるロボットへの指示を容易にすることが期待されていますが、現在の実装ではユーザーがナビゲーションセッションごとに経路の詳細を説明する必要があり、ユーザーの説明コストが高くなります。
この問題を解決するために、テキストのパスから位相図としてマップを作成し、そのマップを利用して新しいパスを自動作成する手法を提案しました。
私たちは、大規模言語モデル (LLM) を使用してテキストのパスを理解できると信じています。
したがって、LLM に暗黙的なマップを格納する方法と、LLM を使用して明示的なマップを生成する方法の 2 つの方法を提案し、評価します。
暗黙的なマップは LLM のメモリ内にあります。
プロンプトを使用して作成されます。
明示的マップでは、ノードとエッジで構成されるトポロジー マップが構築され、各ノードでのアクションが保存されます。
これにより、十分な情報が利用可能な場合には、記述されていない経路上のウェイポイントでの経路とアクションを推定することが可能になります。
実際の環境で生成されたパス命令に関する実験結果は、明示的なマップを生成すると、LLM に暗黙的なマップを格納するよりも大幅に高い精度が達成されることを示しています。

要約(オリジナル)

In this paper, a method for generating a map from path information described using natural language (textual path) is proposed. In recent years, robotics research mainly focus on vision-and-language navigation (VLN), a navigation task based on images and textual paths. Although VLN is expected to facilitate user instructions to robots, its current implementation requires users to explain the details of the path for each navigation session, which results in high explanation costs for users. To solve this problem, we proposed a method that creates a map as a topological map from a textual path and automatically creates a new path using this map. We believe that large language models (LLMs) can be used to understand textual path. Therefore, we propose and evaluate two methods, one for storing implicit maps in LLMs, and the other for generating explicit maps using LLMs. The implicit map is in the LLM’s memory. It is created using prompts. In the explicit map, a topological map composed of nodes and edges is constructed and the actions at each node are stored. This makes it possible to estimate the path and actions at waypoints on an undescribed path, if enough information is available. Experimental results on path instructions generated in a real environment demonstrate that generating explicit maps achieves significantly higher accuracy than storing implicit maps in the LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google