ReplanVLM: Replanning Robotic Tasks with Visual Language Models

要約

大規模言語モデル (LLM) は、テキスト分析と生成における優れた能力、および世界に関する広範な知識により、ロボットのタスク計画においてますます人気が高まっています。
ただし、視覚的な手がかりを解読するという点では不十分です。
LLM は世界を直接認識する能力が限られているため、世界の現状を十分に把握できません。
対照的に、視覚言語モデル (VLM) の出現は、視覚認識モジュールを統合することでこのギャップを埋め、ロボットのタスク計画の自律性を高めることができます。
これらの進歩にもかかわらず、VLM は依然として、正確な命令が提供された場合でもタスク実行エラーが発生する可能性などの課題に直面しています。
このような問題に対処するために、この論文ではロボット タスク計画のための ReplanVLM フレームワークを提案します。
この研究では、誤り訂正介入に焦点を当てます。
内部エラー訂正メカニズムと外部エラー訂正メカニズムは、対応するフェーズでエラーを訂正するために提供されます。
再計画戦略は、タスクの実行が失敗した場合にタスクを再計画したり、エラー コードを修正したりするために開発されます。
実際のロボットとシミュレーション環境での実験結果は、オープンワールドタスクにおけるより高い成功率と堅牢なエラー修正機能により、提案されたフレームワークの優位性を実証しました。
実験のビデオは https://youtu.be/NPk2pWKazJc でご覧いただけます。

要約(オリジナル)

Large language models (LLMs) have gained increasing popularity in robotic task planning due to their exceptional abilities in text analytics and generation, as well as their broad knowledge of the world. However, they fall short in decoding visual cues. LLMs have limited direct perception of the world, which leads to a deficient grasp of the current state of the world. By contrast, the emergence of visual language models (VLMs) fills this gap by integrating visual perception modules, which can enhance the autonomy of robotic task planning. Despite these advancements, VLMs still face challenges, such as the potential for task execution errors, even when provided with accurate instructions. To address such issues, this paper proposes a ReplanVLM framework for robotic task planning. In this study, we focus on error correction interventions. An internal error correction mechanism and an external error correction mechanism are presented to correct errors under corresponding phases. A replan strategy is developed to replan tasks or correct error codes when task execution fails. Experimental results on real robots and in simulation environments have demonstrated the superiority of the proposed framework, with higher success rates and robust error correction capabilities in open-world tasks. Videos of our experiments are available at https://youtu.be/NPk2pWKazJc.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google