Fine-Grained Alignment in Vision-and-Language Navigation through Bayesian Optimization

要約

この論文では、ロボットが自然言語の指示に基づいて現実的な 3D 環境をナビゲートする、視覚と言語のナビゲーション (VLN) タスクにおけるきめの細かい位置合わせの課題について取り上げます。
現在のアプローチは、言語を視覚的な軌跡のシーケンスと一致させるために対照学習を使用しています。
それにもかかわらず、粒子の細かいビジョンネガでは困難に直面します。
クロスモーダル埋め込みを強化するために、きめの細かいコントラスト視覚サンプルを作成するための新しいベイジアン最適化ベースの敵対的最適化フレームワークを導入します。
提案された方法論を検証するために、一連の実験を実施して、きめの細かいビジョンネガに対するエンリッチされた埋め込みの有効性を評価します。
私たちは 2 つの一般的な VLN ベンチマークである R2R と REVERIE で実験を実施しました。それらの実験では、これらの埋め込みがナビゲーションに利益をもたらし、有望なパフォーマンス向上につながる可能性があることが実証されました。
私たちのソース コードとトレーニング済みモデルは、https://anonymous.4open.science/r/FGVLN で入手できます。

要約(オリジナル)

This paper addresses the challenge of fine-grained alignment in Vision-and-Language Navigation (VLN) tasks, where robots navigate realistic 3D environments based on natural language instructions. Current approaches use contrastive learning to align language with visual trajectory sequences. Nevertheless, they encounter difficulties with fine-grained vision negatives. To enhance cross-modal embeddings, we introduce a novel Bayesian Optimization-based adversarial optimization framework for creating fine-grained contrastive vision samples. To validate the proposed methodology, we conduct a series of experiments to assess the effectiveness of the enriched embeddings on fine-grained vision negatives. We conduct experiments on two common VLN benchmarks R2R and REVERIE, experiments on the them demonstrate that these embeddings benefit navigation, and can lead to a promising performance enhancement. Our source code and trained models are available at: https://anonymous.4open.science/r/FGVLN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google