UAV-Flow Colosseo: A Real-World Benchmark for Flying-on-a-Word UAV Imitation Learning

要約

無人航空機（UAV）は、言語相互作用プラットフォームに進化しており、より直感的な形態の人間ドローン相互作用を可能にします。
以前の作品は主に高レベルの計画と長老のナビゲーションに焦点を当てていますが、言語誘導の細かい軌道コントロールに注意を払っています。
この問題を正式化して、単語の飛行（フロー）タスクとして形式化し、UAV模倣学習を効果的なアプローチとして導入します。
このフレームワークでは、UAVは、原子言語の指示と組み合わせた専門家のパイロット軌道を模倣することにより、きめ細かい制御ポリシーを学びます。
このパラダイムをサポートするために、言語条件付けされた細粒のUAVコントロールの最初の現実世界のベンチマークであるUAV-Flowを提示します。
これには、タスク策定、多様な環境で収集された大規模なデータセット、展開可能な制御フレームワーク、および体系的な評価のためのシミュレーションスイートが含まれます。
当社の設計により、UAVは人間のパイロットの正確で専門レベルの飛行軌跡を密接に模倣し、SIMからリアルのギャップなしで直接展開をサポートできます。
UAV-Flow、ベンチマークVLNおよびVLAパラダイムに関する広範な実験を実施します。
結果は、VLAモデルがVLNベースラインよりも優れていることを示しており、細粒の流れにおける空間接地の重要な役割を強調しています。

要約(オリジナル)

Unmanned Aerial Vehicles (UAVs) are evolving into language-interactive platforms, enabling more intuitive forms of human-drone interaction. While prior works have primarily focused on high-level planning and long-horizon navigation, we shift attention to language-guided fine-grained trajectory control, where UAVs execute short-range, reactive flight behaviors in response to language instructions. We formalize this problem as the Flying-on-a-Word (Flow) task and introduce UAV imitation learning as an effective approach. In this framework, UAVs learn fine-grained control policies by mimicking expert pilot trajectories paired with atomic language instructions. To support this paradigm, we present UAV-Flow, the first real-world benchmark for language-conditioned, fine-grained UAV control. It includes a task formulation, a large-scale dataset collected in diverse environments, a deployable control framework, and a simulation suite for systematic evaluation. Our design enables UAVs to closely imitate the precise, expert-level flight trajectories of human pilots and supports direct deployment without sim-to-real gap. We conduct extensive experiments on UAV-Flow, benchmarking VLN and VLA paradigms. Results show that VLA models are superior to VLN baselines and highlight the critical role of spatial grounding in the fine-grained Flow setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google