Verifiably Following Complex Robot Instructions with Foundation Models

要約

モバイル ロボットが複雑な自然言語の指示に従えるようにすることは、重要ではありますが、困難な問題です。
人はロボットに指示を与える際に、制約を柔軟に表現したり、任意のランドマークを参照したり、動作を検証したりしたいと考えています。
逆に、ロボットは人間の命令を仕様に明確にし、現実世界での命令の指示対象を明確にする必要があります。
私たちは、事前に構築されたセマンティック マップを使用せずに、実世界の環境でロボットが表現力豊かで複雑なオープンエンドの命令に検証可能に従うことを可能にするアプローチである、モーション プランニングのための言語命令グラウンディング (LIMP) を提案します。
LIMP は、ロボットがインストラクターの意図した動機と一致していることを明らかにし、構築ごとに正しいロボットの動作を統合できるようにする象徴的な指示表現を構築します。
私たちは大規模な評価を実行し、5 つの実際の環境で 150 の命令に対するアプローチを実証し、アプローチの汎用性と新しい非構造化ドメインでの展開の容易さを示しています。
私たちの実験では、LIMP は標準的なオープン語彙タスクに関して最先端の LLM タスク プランナーや LLM コード作成プランナーと同等のパフォーマンスを示し、さらに複雑な時空間命令では 79\% の成功率を達成しましたが、LLM とコード作成プランナーはどちらも
38\%。
https://robotlimp.github.io で補足資料とデモビデオをご覧ください。

要約(オリジナル)

Enabling mobile robots to follow complex natural language instructions is an important yet challenging problem. People want to flexibly express constraints, refer to arbitrary landmarks and verify behavior when instructing robots. Conversely, robots must disambiguate human instructions into specifications and ground instruction referents in the real world. We propose Language Instruction grounding for Motion Planning (LIMP), an approach that enables robots to verifiably follow expressive and complex open-ended instructions in real-world environments without prebuilt semantic maps. LIMP constructs a symbolic instruction representation that reveals the robot’s alignment with an instructor’s intended motives and affords the synthesis of robot behaviors that are correct-by-construction. We perform a large scale evaluation and demonstrate our approach on 150 instructions in five real-world environments showing the generality of our approach and the ease of deployment in novel unstructured domains. In our experiments, LIMP performs comparably with state-of-the-art LLM task planners and LLM code-writing planners on standard open vocabulary tasks and additionally achieves 79\% success rate on complex spatiotemporal instructions while LLM and Code-writing planners both achieve 38\%. See supplementary materials and demo videos at https://robotlimp.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google