CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction

要約

実際のロボットナビゲーションには、目的地に到達するだけではありません。
シナリオ固有の目標に対処しながら、動きを最適化する必要があります。
人間がこれらの目標を表現するための直感的な方法は、言葉によるコマンドや大まかなスケッチのような抽象的な手がかりを通してです。
このような人間の指導は、詳細が不足しているか、騒々しいかもしれません。
それにもかかわらず、ロボットが意図したとおりにナビゲートすることを期待しています。
ロボットが人間の期待に沿ってこれらの抽象的な指示を解釈して実行するには、基本的なナビゲーション概念の共通の理解を人間と共有する必要があります。
この目的のために、Canvasを紹介します。Canvasは、Canvasを紹介します。これは、常識的なナビゲーションのための視覚的および言語的指示を組み合わせた新しいフレームワークです。
その成功は、模倣学習によって推進され、ロボットが人間の航海行動から学ぶことができます。
シミュレートされた環境で常識を把握するナビゲーションシステムを訓練するように設計された、48時間以上219 km以上にわたるヒトが注目したナビゲーション結果を備えた包括的なデータセットであるコマンドを提示します。
私たちの実験は、キャンバスがすべての環境で強力なルールベースのシステムROS Navstackを上回ることを示しており、騒々しい指示で優れたパフォーマンスを示しています。
特に、ROS Navstackが0％の総成功率を記録しているオーチャード環境では、Canvasは総成功率67％を達成しています。
キャンバスはまた、目に見えない環境であっても、人間のデモや常識的な制約と密接に一致しています。
さらに、CANVASの実際の展開は、総成功率69％で印象的なSIM2real転送を紹介し、実世界のアプリケーションのシミュレートされた環境で人間のデモンストレーションから学習する可能性を強調しています。

要約(オリジナル)

Real-life robot navigation involves more than just reaching a destination; it requires optimizing movements while addressing scenario-specific goals. An intuitive way for humans to express these goals is through abstract cues like verbal commands or rough sketches. Such human guidance may lack details or be noisy. Nonetheless, we expect robots to navigate as intended. For robots to interpret and execute these abstract instructions in line with human expectations, they must share a common understanding of basic navigation concepts with humans. To this end, we introduce CANVAS, a novel framework that combines visual and linguistic instructions for commonsense-aware navigation. Its success is driven by imitation learning, enabling the robot to learn from human navigation behavior. We present COMMAND, a comprehensive dataset with human-annotated navigation results, spanning over 48 hours and 219 km, designed to train commonsense-aware navigation systems in simulated environments. Our experiments show that CANVAS outperforms the strong rule-based system ROS NavStack across all environments, demonstrating superior performance with noisy instructions. Notably, in the orchard environment, where ROS NavStack records a 0% total success rate, CANVAS achieves a total success rate of 67%. CANVAS also closely aligns with human demonstrations and commonsense constraints, even in unseen environments. Furthermore, real-world deployment of CANVAS showcases impressive Sim2Real transfer with a total success rate of 69%, highlighting the potential of learning from human demonstrations in simulated environments for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google