ViNT: A Foundation Model for Visual Navigation

要約

汎用の事前トレーニング済みモデル (「基礎モデル」) により、専門家は、ゼロから学習する場合に必要なデータセットよりも大幅に小さいデータセットを使用して、個々の機械学習の問題に対する一般化可能なソリューションを生成できるようになりました。
このようなモデルは通常、弱い監視下で大規模で多様なデータセットでトレーニングされ、個々の下流アプリケーションで利用できるよりもはるかに多くのトレーニング データを消費します。
この論文では、視覚ベースのロボット ナビゲーションに汎用の事前トレーニング済みモデルの成功をもたらすことを目的とした基盤モデルである Visual Navigation Transformer (ViNT) について説明します。
ViNT は、任意のナビゲーション データセットで使用できる一般的な目標達成目標に基づいてトレーニングされており、柔軟な Transformer ベースのアーキテクチャを採用してナビゲーション アフォーダンスを学習し、さまざまな下流のナビゲーション タスクに効率的に適応できるようにします。
ViNT は、さまざまなロボット プラットフォームからの数百時間のロボット ナビゲーションで構成される、多数の既存のナビゲーション データセットでトレーニングされており、単一のデータセットでトレーニングされた専門家モデルを上回る確実な転送を示します。
ViNT は、拡散ベースのサブゴール提案で強化して新しい環境を探索することができ、長距離ヒューリスティックを装備すると、キロメートル規模のナビゲーション問題を解決できます。
ViNT は、プロンプト チューニングにヒントを得た技術を使用して、新しいタスク仕様に適応させることもできます。この場合、ゴール エンコーダーは、ゴール トークンの同じ空間に埋め込まれた別のタスク モダリティ (GPS ウェイポイントやルーティング コマンドなど) のエンコーディングに置き換えられます。
この柔軟性とさまざまな下流の問題領域に対応できる能力により、ViNT はモバイル ロボット工学の効果的な基盤モデルとして確立されます。
ビデオ、コード、モデルのチェックポイントについては、https://visualnav-transformer.github.io のプロジェクト ページをご覧ください。

要約(オリジナル)

General-purpose pre-trained models (‘foundation models’) have enabled practitioners to produce generalizable solutions for individual machine learning problems with datasets that are significantly smaller than those required for learning from scratch. Such models are typically trained on large and diverse datasets with weak supervision, consuming much more training data than is available for any individual downstream application. In this paper, we describe the Visual Navigation Transformer (ViNT), a foundation model that aims to bring the success of general-purpose pre-trained models to vision-based robotic navigation. ViNT is trained with a general goal-reaching objective that can be used with any navigation dataset, and employs a flexible Transformer-based architecture to learn navigational affordances and enable efficient adaptation to a variety of downstream navigational tasks. ViNT is trained on a number of existing navigation datasets, comprising hundreds of hours of robotic navigation from a variety of different robotic platforms, and exhibits positive transfer, outperforming specialist models trained on singular datasets. ViNT can be augmented with diffusion-based subgoal proposals to explore novel environments, and can solve kilometer-scale navigation problems when equipped with long-range heuristics. ViNT can also be adapted to novel task specifications with a technique inspired by prompt-tuning, where the goal encoder is replaced by an encoding of another task modality (e.g., GPS waypoints or routing commands) embedded into the same space of goal tokens. This flexibility and ability to accommodate a variety of downstream problem domains establishes ViNT as an effective foundation model for mobile robotics. For videos, code, and model checkpoints, see our project page at https://visualnav-transformer.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google