GridMM: Grid Memory Map for Vision-and-Language Navigation

要約

視覚と言語のナビゲーション (VLN) により、エージェントは 3D 環境で自然言語の指示に従って遠隔地に移動できます。
以前に訪問した環境を表すために、VLN のほとんどのアプローチでは、リカレント状態、トポロジー マップ、またはトップダウンのセマンティック マップを使用してメモリが実装されます。
これらのアプローチとは対照的に、私たちはトップダウンの自己中心的で動的に成長するグリッド メモリ マップ (つまり GridMM) を構築して、訪問環境を構造化します。
地球規模の観点から、歴史的観測はトップダウン ビューで統一されたグリッド マップに投影され、環境の空間関係をより適切に表現できます。
局所的な観点から、各グリッド領域で詳細な視覚的手がかりを捕捉するための命令関連性集約方法をさらに提案します。
離散環境の REVERIE、R2R、SOON データセットと連続環境の R2R-CE データセットの両方に対して広範な実験が行われ、提案した方法の優位性が示されています。

要約(オリジナル)

Vision-and-language navigation (VLN) enables the agent to navigate to a remote location following the natural language instruction in 3D environments. To represent the previously visited environment, most approaches for VLN implement memory using recurrent states, topological maps, or top-down semantic maps. In contrast to these approaches, we build the top-down egocentric and dynamically growing Grid Memory Map (i.e., GridMM) to structure the visited environment. From a global perspective, historical observations are projected into a unified grid map in a top-down view, which can better represent the spatial relations of the environment. From a local perspective, we further propose an instruction relevance aggregation method to capture fine-grained visual clues in each grid region. Extensive experiments are conducted on both the REVERIE, R2R, SOON datasets in the discrete environments, and the R2R-CE dataset in the continuous environments, showing the superiority of our proposed method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google