Air-Ground Collaboration for Language-Specified Missions in Unknown Environments

要約

自律的なロボットシステムがますます成熟するにつれて、ユーザーは低レベルの詳細ではなく、意図のレベルでミッションを指定する必要があります。
言語は、このようなミッション仕様の表現力豊かで直感的な媒体です。
ただし、言語誘導ロボットチームを実現するには、重要な技術的ハードルを克服する必要があります。
言語指定されたミッションの解釈と実現には、高度なセマンティック推論が必要です。
成功した不均一ロボットは、さまざまな視点でアクションを効果的に調整し、情報を共有する必要があります。
さらに、ロボット間の通信は通常断続的であり、コミュニケーションの機会を活用して調整を維持し、ミッション目標を達成する堅牢な戦略を必要とします。
この作業では、無人航空機（UAV）と無人の地上車両（UGV）が自然言語で指定されたミッションを協力的に達成しながら、その場での仕様の変化に対応することができるようになった最初の類似システムを紹介します。
大規模な言語モデル（LLM）対応のプランナーを活用して、オンラインで構築され、空中ロボットとグラウンドロボットの間で日和見的に共有されるセマンティックメトリックマップ上で推論します。
都市部と農村部におけるタスク主導のナビゲーションを検討します。
私たちのシステムは、ミッション関連のセマンティクスを推測し、セマンティックマッピングを介して情報を積極的に取得する必要があります。
グラウンドとエアグラウンドのチーム化実験の両方で、最大キロメートルスケールのナビゲーションで7つの異なる自然言語仕様に関するシステムを実証します。

要約(オリジナル)

As autonomous robotic systems become increasingly mature, users will want to specify missions at the level of intent rather than in low-level detail. Language is an expressive and intuitive medium for such mission specification. However, realizing language-guided robotic teams requires overcoming significant technical hurdles. Interpreting and realizing language-specified missions requires advanced semantic reasoning. Successful heterogeneous robots must effectively coordinate actions and share information across varying viewpoints. Additionally, communication between robots is typically intermittent, necessitating robust strategies that leverage communication opportunities to maintain coordination and achieve mission objectives. In this work, we present a first-of-its-kind system where an unmanned aerial vehicle (UAV) and an unmanned ground vehicle (UGV) are able to collaboratively accomplish missions specified in natural language while reacting to changes in specification on the fly. We leverage a Large Language Model (LLM)-enabled planner to reason over semantic-metric maps that are built online and opportunistically shared between an aerial and a ground robot. We consider task-driven navigation in urban and rural areas. Our system must infer mission-relevant semantics and actively acquire information via semantic mapping. In both ground and air-ground teaming experiments, we demonstrate our system on seven different natural-language specifications at up to kilometer-scale navigation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google