Virtual Guidance as a Mid-level Representation for Navigation with Augmented Reality

要約

自律的なナビゲーションのコンテキストでは、特にナビゲーション情報がビジョンや高レベルの言語の説明などの多様なモダリティから導き出される場合、動的環境でエージェントに抽象的なナビゲーションキューを効果的に伝えることが重要な課題をもたらします。
この問題に対処するために、「仮想ガイダンス」と呼ばれる新しい手法を紹介します。これは、非視覚的指導信号を視覚的に表すように設計されています。
これらの視覚的な手がかりは、エージェントのカメラビューにオーバーレイされ、理解できるナビゲーションガイダンスシグナルとして機能します。
仮想ガイダンスの概念を検証するために、シミュレートされた環境から現実世界への訓練されたポリシーの転送を可能にし、実際のシナリオで仮想ガイダンスの適応性を確保するSIMからリアルのフレームワークを提案します。
シミュレーションの詳細な実験を通じて、提案された方法を非視覚的ガイダンスベースラインと比較して比較します。
実験結果は、提案された仮想ガイダンスアプローチが複数のシナリオでベースラインメソッドを上回り、自律ナビゲーションタスクにおけるその有効性の明確な証拠を提供することを示しています。

要約(オリジナル)

In the context of autonomous navigation, effectively conveying abstract navigational cues to agents in dynamic environments presents significant challenges, particularly when navigation information is derived from diverse modalities such as both vision and high-level language descriptions. To address this issue, we introduce a novel technique termed `Virtual Guidance,’ which is designed to visually represent non-visual instructional signals. These visual cues are overlaid onto the agent’s camera view and served as comprehensible navigational guidance signals. To validate the concept of virtual guidance, we propose a sim-to-real framework that enables the transfer of the trained policy from simulated environments to real world, ensuring the adaptability of virtual guidance in practical scenarios. We evaluate and compare the proposed method against a non-visual guidance baseline through detailed experiments in simulation. The experimental results demonstrate that the proposed virtual guidance approach outperforms the baseline methods across multiple scenarios and offers clear evidence of its effectiveness in autonomous navigation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google