LOViS: Learning Orientation and Visual Signals for Vision and Language Navigation

要約

自然言語の指示に従うナビゲーション エージェントにとって、空間情報と視覚情報を理解することは不可欠です。
現在の Transformer ベースの VLN エージェントは、方向とビジョンの情報を絡ませているため、各情報源の学習から得られる利益が制限されています。
この論文では、明示的な Orientation および Vision モジュールを使用してニューラル エージェントを設計します。
これらのモジュールは、視覚環境への指示で空間情報とランドマークの言及をより効果的に接地することを学習します。
エージェントの空間推論と視覚認識を強化するために、特定の事前トレーニング タスクを設計して、最終的なナビゲーション モデルで対応するモジュールをフィードし、より有効に活用します。
Room2room (R2R) と Room4room (R4R) の両方のデータセットでアプローチを評価し、両方のベンチマークで最先端の結果を達成しました。

要約(オリジナル)

Understanding spatial and visual information is essential for a navigation agent who follows natural language instructions. The current Transformer-based VLN agents entangle the orientation and vision information, which limits the gain from the learning of each information source. In this paper, we design a neural agent with explicit Orientation and Vision modules. Those modules learn to ground spatial information and landmark mentions in the instructions to the visual environment more effectively. To strengthen the spatial reasoning and visual perception of the agent, we design specific pre-training tasks to feed and better utilize the corresponding modules in our final navigation model. We evaluate our approach on both Room2room (R2R) and Room4room (R4R) datasets and achieve the state of the art results on both benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google