CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction

要約

現実のロボットナビゲーションには、単に目的地に到達するだけではありません。
シナリオ固有の目標に取り組みながら、動きを最適化する必要があります。
人間がこれらの目標を表現する直観的な方法は、口頭での命令や大まかなスケッチなどの抽象的な手がかりを使用することです。
このような人間によるガイダンスは、詳細が不足していたり​​、うるさかったりする場合があります。
それにもかかわらず、私たちはロボットが意図したとおりに移動することを期待しています。
ロボットが人間の期待に沿ってこれらの抽象的な命令を解釈して実行するには、基本的なナビゲーション概念について人間と共通の理解を共有する必要があります。
この目的を達成するために、常識を意識したナビゲーションのための視覚的指示と言語的指示を組み合わせた新しいフレームワークである CANVAS を紹介します。
その成功は、ロボットが人間のナビゲーション行動から学習できるようにする模倣学習によって推進されています。
私たちは、人間が注釈を付けたナビゲーション結果を含む包括的なデータセットである COMMAND を紹介します。このデータセットは 48 時間、219 km を超え、模擬環境で常識を認識したナビゲーション システムをトレーニングするように設計されています。
私たちの実験では、CANVAS がすべての環境において強力なルールベースのシステムである ROS NavStack よりも優れたパフォーマンスを示し、ノイズの多い命令でも優れたパフォーマンスを示していることがわかりました。
特に、果樹園環境では、ROS NavStack が合計成功率 0% を記録しているのに対し、CANVAS は合計成功率 67% を達成しています。
CANVAS は、目に見えない環境であっても、人間のデモンストレーションや常識的な制約とも密接に連携します。
さらに、CANVAS の実世界の展開では、総成功率 69% という驚異的な Sim2Real 転送が示されており、実世界のアプリケーションのシミュレートされた環境で人間のデモンストレーションから学習できる可能性が強調されています。

要約(オリジナル)

Real-life robot navigation involves more than just reaching a destination; it requires optimizing movements while addressing scenario-specific goals. An intuitive way for humans to express these goals is through abstract cues like verbal commands or rough sketches. Such human guidance may lack details or be noisy. Nonetheless, we expect robots to navigate as intended. For robots to interpret and execute these abstract instructions in line with human expectations, they must share a common understanding of basic navigation concepts with humans. To this end, we introduce CANVAS, a novel framework that combines visual and linguistic instructions for commonsense-aware navigation. Its success is driven by imitation learning, enabling the robot to learn from human navigation behavior. We present COMMAND, a comprehensive dataset with human-annotated navigation results, spanning over 48 hours and 219 km, designed to train commonsense-aware navigation systems in simulated environments. Our experiments show that CANVAS outperforms the strong rule-based system ROS NavStack across all environments, demonstrating superior performance with noisy instructions. Notably, in the orchard environment, where ROS NavStack records a 0% total success rate, CANVAS achieves a total success rate of 67%. CANVAS also closely aligns with human demonstrations and commonsense constraints, even in unseen environments. Furthermore, real-world deployment of CANVAS showcases impressive Sim2Real transfer with a total success rate of 69%, highlighting the potential of learning from human demonstrations in simulated environments for real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google