UAVs Meet LLMs: Overviews and Perspectives Toward Agentic Low-Altitude Mobility

要約

無人航空機 (UAV) に代表される低高度モビリティは、輸送、物流、農業などのさまざまな領域に革新的な進歩をもたらしました。
柔軟な視点と迅速な操縦性を活用する UAV は、従来のシステムの認識能力と行動能力を拡張し、学界や産業界から幅広い注目を集めています。
しかし、現在の UAV の運用は主に人間の制御に依存しており、単純なシナリオでは自律性が限られており、より複雑な環境やタスクに必要なインテリジェンスと適応性が欠けています。
大規模言語モデル (LLM) の出現は、顕著な問題解決能力と一般化能力を実証し、UAV インテリジェンスを進化させるための有望な道筋を提供します。
このペーパーでは、LLM と UAV の統合について説明します。最初に UAV システムの基本的なコンポーネントと機能の概要を説明し、続いて最先端の LLM テクノロジーの概要を説明します。
続いて、トレーニングと評価に重要なサポートを提供する、UAV で利用可能なマルチモーダル データ リソースを体系的に強調します。
さらに、UAV と LLM が融合する主要なタスクとアプリケーション シナリオを分類して分析します。
最後に、エージェント型 UAV に向けた参照ロードマップが提案されており、UAV が自律的な知覚、記憶、推論、ツールの利用を通じてエージェント型インテリジェンスを実現できるようにすることを目指しています。
関連リソースは https://github.com/Hub-Tian/UAVs_Meet_LLMs で入手できます。

要約(オリジナル)

Low-altitude mobility, exemplified by unmanned aerial vehicles (UAVs), has introduced transformative advancements across various domains, like transportation, logistics, and agriculture. Leveraging flexible perspectives and rapid maneuverability, UAVs extend traditional systems’ perception and action capabilities, garnering widespread attention from academia and industry. However, current UAV operations primarily depend on human control, with only limited autonomy in simple scenarios, and lack the intelligence and adaptability needed for more complex environments and tasks. The emergence of large language models (LLMs) demonstrates remarkable problem-solving and generalization capabilities, offering a promising pathway for advancing UAV intelligence. This paper explores the integration of LLMs and UAVs, beginning with an overview of UAV systems’ fundamental components and functionalities, followed by an overview of the state-of-the-art in LLM technology. Subsequently, it systematically highlights the multimodal data resources available for UAVs, which provide critical support for training and evaluation. Furthermore, it categorizes and analyzes key tasks and application scenarios where UAVs and LLMs converge. Finally, a reference roadmap towards agentic UAVs is proposed, aiming to enable UAVs to achieve agentic intelligence through autonomous perception, memory, reasoning, and tool utilization. Related resources are available at https://github.com/Hub-Tian/UAVs_Meet_LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google