FLAME: Learning to Navigate with Multimodal LLM in Urban Environments

要約

大規模言語モデル (LLM) は、視覚と言語のナビゲーション (VLN) タスクにおける可能性を示していますが、現在のアプリケーションは課題に直面しています。
LLM は一般的な会話シナリオでは優れていますが、特殊なナビゲーション タスクには苦労し、特殊な VLN モデルと比較して最適なパフォーマンスが得られません。
複数の観測を効率的に処理する都市部の VLN タスク用に設計された新しいマルチモーダル LLM ベースのエージェントおよびアーキテクチャである FLAME (FLAMingo-Architected Embodied Agent) を紹介します。
私たちのアプローチでは、ストリートビュー記述のための単一認識調整、軌跡要約のための複数認識調整、VLN データセットでのエンドツーエンド トレーニングなど、ナビゲーション タスクに効果的に適応するための 3 段階の調整手法を実装しています。
拡張されたデータセットは自動的に合成されます。
実験結果は、既存の手法に対する FLAME の優位性を実証し、Touchdown データセットでのタスク完了率が 7.3% 増加し、最先端の手法を上回りました。
この研究は、複雑なナビゲーション タスクにおけるマルチモーダル LLM (MLLM) の可能性を示しており、身体化された AI における MLLM の実用的な応用に向けた進歩を示しています。
プロジェクトページ：https://flame-sjtu.github.io

要約(オリジナル)

Large Language Models (LLMs) have demonstrated potential in Vision-and-Language Navigation (VLN) tasks, yet current applications face challenges. While LLMs excel in general conversation scenarios, they struggle with specialized navigation tasks, yielding suboptimal performance compared to specialized VLN models. We introduce FLAME (FLAMingo-Architected Embodied Agent), a novel Multimodal LLM-based agent and architecture designed for urban VLN tasks that efficiently handles multiple observations. Our approach implements a three-phase tuning technique for effective adaptation to navigation tasks, including single perception tuning for street view description, multiple perception tuning for trajectory summarization, and end-to-end training on VLN datasets. The augmented datasets are synthesized automatically. Experimental results demonstrate FLAME’s superiority over existing methods, surpassing state-of-the-art methods by a 7.3% increase in task completion rate on Touchdown dataset. This work showcases the potential of Multimodal LLMs (MLLMs) in complex navigation tasks, representing an advancement towards practical applications of MLLMs in embodied AI. Project page: https://flame-sjtu.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google