要約
日常生活において、カップなどの頻繁に使用されるオブジェクトは、位置が固定されておらず、同じカテゴリ内に複数のインスタンスが存在することが多く、そのキャリアも頻繁に変更されます。
その結果、ロボットが特定のインスタンスに効率的に移動することが困難になります。
この課題に取り組むために、ロボットはシーンの変化と計画を継続的にキャプチャして更新する必要があります。
ただし、現在のオブジェクト ナビゲーションのアプローチは主にセマンティック レベルに焦点を当てており、シーン表現を動的に更新する機能がありません。
この論文では、頻繁に使用されるオブジェクトとその静的キャリアとの関係をまとめています。
オープンボキャブラリーの搬送関係シーングラフ (CRSG) を構築し、ロボットのナビゲーション中に搬送ステータスを更新して、シーンの動的な変化を反映します。
CRSG に基づいて、ナビゲーション プロセスをマルコフ決定プロセスとしてモデル化するインスタンス ナビゲーション戦略をさらに提案します。
各ステップで、大規模言語モデルの常識的な知識と視覚言語機能の類似性に基づいて決定が行われます。
私たちは、ハビタット シミュレーターで頻繁に使用される日用品を対象とした、一連の長時間にわたるナビゲーション タスクを設計しました。
この結果は、CRSG を更新することで、ロボットが移動したターゲットに効率的にナビゲートできることを示しています。
さらに、アルゴリズムを実際のロボットに展開し、その実際の有効性を検証しました。
要約(オリジナル)
In everyday life, frequently used objects like cups often have unfixed positions and multiple instances within the same category, and their carriers frequently change as well. As a result, it becomes challenging for a robot to efficiently navigate to a specific instance. To tackle this challenge, the robot must capture and update scene changes and plans continuously. However, current object navigation approaches primarily focus on semantic-level and lack the ability to dynamically update scene representation. This paper captures the relationships between frequently used objects and their static carriers. It constructs an open-vocabulary Carrier-Relationship Scene Graph (CRSG) and updates the carrying status during robot navigation to reflect the dynamic changes of the scene. Based on the CRSG, we further propose an instance navigation strategy that models the navigation process as a Markov Decision Process. At each step, decisions are informed by Large Language Model’s commonsense knowledge and visual-language feature similarity. We designed a series of long-sequence navigation tasks for frequently used everyday items in the Habitat simulator. The results demonstrate that by updating the CRSG, the robot can efficiently navigate to moved targets. Additionally, we deployed our algorithm on a real robot and validated its practical effectiveness.
arxiv情報
| 著者 | Yujie Tang,Meiling Wang,Yinan Deng,Zibo Zheng,Jiagui Zhong,Yufeng Yue |
| 発行日 | 2024-09-27 13:33:52+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google