Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation

要約

視覚と言語のナビゲーション (VLN) により、エージェントは自然言語の指示に従って 3D 環境の遠隔地に移動できます。
この分野では、エージェントは通常、ナビゲーション シミュレーターでトレーニングおよび評価されますが、シミュレーションからリアルへの移行のための効果的なアプローチが不足しています。
単眼カメラのみを備えた VLN エージェントのパフォーマンスは非常に限られていますが、パノラマ観察でトレーニングされた主流の VLN モデルはパフォーマンスは向上しますが、ほとんどの単眼ロボットに導入するのは困難です。
この場合、単眼ロボットにパノラマ横断可能性知覚とパノラマ意味論的理解を与えるためのシミュレーションからリアルへの転送アプローチを提案します。これにより、高性能パノラマ VLN モデルを一般的な単眼ロボットにスムーズに転送できます。
この研究では、エージェント中心のナビゲーション可能なウェイポイントを予測するためにセマンティック トラバース可能マップが提案され、これらのナビゲーション可能なウェイポイントの新しいビュー表現が 3D フィーチャ フィールドを通じて予測されます。
これらの方法により、単眼ロボットの限られた視野が広がり、現実世界でのナビゲーション性能が大幅に向上します。
当社の VLN システムは、シミュレーション環境内の R2R-CE および RxR-CE ベンチマークで以前の SOTA 単眼 VLN 手法を上回っており、実世界の環境でも検証されており、実世界の VLN に実用的で高性能のソリューションを提供します。

要約(オリジナル)

Vision-and-language navigation (VLN) enables the agent to navigate to a remote location in 3D environments following the natural language instruction. In this field, the agent is usually trained and evaluated in the navigation simulators, lacking effective approaches for sim-to-real transfer. The VLN agents with only a monocular camera exhibit extremely limited performance, while the mainstream VLN models trained with panoramic observation, perform better but are difficult to deploy on most monocular robots. For this case, we propose a sim-to-real transfer approach to endow the monocular robots with panoramic traversability perception and panoramic semantic understanding, thus smoothly transferring the high-performance panoramic VLN models to the common monocular robots. In this work, the semantic traversable map is proposed to predict agent-centric navigable waypoints, and the novel view representations of these navigable waypoints are predicted through the 3D feature fields. These methods broaden the limited field of view of the monocular robots and significantly improve navigation performance in the real world. Our VLN system outperforms previous SOTA monocular VLN methods in R2R-CE and RxR-CE benchmarks within the simulation environments and is also validated in real-world environments, providing a practical and high-performance solution for real-world VLN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google