A New Path: Scaling Vision-and-Language Navigation with Synthetic Instructions and Imitation Learning

要約

タイトル：合成指示と模倣学習によるVision-and-Language Navigationのスケーリングの新しい方法

要約：

– Vision-and-Language Navigation（VLN）では、リアルな環境で自然言語のナビゲーション指示を実行するRLエージェントをトレーニングし、人間の指示に従えるロボットの開発を目指している。
– しかしながら、人間の指示のデータの不足やトレーニング環境の限定された多様性により、これらのエージェントはまだ複雑な言語グラウンディングや空間言語理解に苦戦している。
– プレトレーニングによるウェブからの大規模なテキストおよび画像テキストデータセットの利用は広く探索されているが、改善は限定的である。
– 合成指示の大規模な拡張を調査し、360度パノラマで人工的に作成された500以上の屋内環境を取り上げ、これらのパノラマを介したナビゲーション軌跡を構築し、高品質の多言語ナビゲーション指示ジェネレーターであるMarkyを使用して、各軌跡に対して視覚的に根付いた指示を生成する。
– また、画像対画像のGANを使用して、新しい視点からイメージ観察を合成する。これにより、4.2Mの指示軌跡ペアのデータセットが得られる。これは既存の人間注釈付きデータセットより2桁大きく、より多様な環境と視点を含んでいる。
– この規模のデータを効率的に利用するために、模倣学習を用いてシンプルなトランスフォーマーエージェントをトレーニングする。
– RxRデータセットにおいて、我々の手法はすべての既存のRLエージェントを上回り、既存の最新技術NDTW（71.1から79.1）を改善し、見える環境でのテスト環境でも（64.6から66.8）改善した。
– 本研究は、大規模な模倣学習と合成指示生成能力の開発に重点を置いた指示従順エージェントの改善の新しい道への指針を示している。

要約(オリジナル)

Recent studies in Vision-and-Language Navigation (VLN) train RL agents to execute natural-language navigation instructions in photorealistic environments, as a step towards robots that can follow human instructions. However, given the scarcity of human instruction data and limited diversity in the training environments, these agents still struggle with complex language grounding and spatial language understanding. Pretraining on large text and image-text datasets from the web has been extensively explored but the improvements are limited. We investigate large-scale augmentation with synthetic instructions. We take 500+ indoor environments captured in densely-sampled 360 degree panoramas, construct navigation trajectories through these panoramas, and generate a visually-grounded instruction for each trajectory using Marky, a high-quality multilingual navigation instruction generator. We also synthesize image observations from novel viewpoints using an image-to-image GAN. The resulting dataset of 4.2M instruction-trajectory pairs is two orders of magnitude larger than existing human-annotated datasets, and contains a wider variety of environments and viewpoints. To efficiently leverage data at this scale, we train a simple transformer agent with imitation learning. On the challenging RxR dataset, our approach outperforms all existing RL agents, improving the state-of-the-art NDTW from 71.1 to 79.1 in seen environments, and from 64.6 to 66.8 in unseen test environments. Our work points to a new path to improving instruction-following agents, emphasizing large-scale imitation learning and the development of synthetic instruction generation capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI