Vision-based Learning for Drones: A Survey

要約

高度なサイバーフィジカルシステムとしてのドローンは、ビジョンベースの学習の出現により変革的な変化を遂げています。この分野は、ドローンの自律性と機能に大きな影響を与えるため、急速に注目を集めています。
既存のタスク固有の調査とは異なり、このレビューはドローンにおけるビジョンベースの学習の包括的な概要を提供し、運用能力を強化する上でのその極めて重要な役割を強調しています。
まず、ビジョンベースの学習の基本原理を説明し、それがドローンの視覚認識と意思決定プロセスを大幅に改善する方法を強調します。
次に、視覚ベースの制御方法を、知覚制御の観点から間接的、半直接的、およびエンドツーエンドのアプローチに分類します。
さらに、シングルエージェント システムからより複雑なマルチエージェントおよび異種システムのシナリオに至るまで、学習機能を備えたビジョンベースのドローンのさまざまなアプリケーションを調査し、各分野を特徴づける課題とイノベーションを強調します。
最後に、私たちは未解決の疑問と潜在的な解決策を探求し、このダイナミックで急速に進化する分野で進行中の研究開発への道を切り開きます。
大規模言語モデル (LLM) と身体化された知能の成長に伴い、ドローンのビジョンベースの学習は、3D 物理世界における汎用人工知能 (AGI) への有望だが困難な道を提供します。

要約(オリジナル)

Drones as advanced cyber-physical systems are undergoing a transformative shift with the advent of vision-based learning, a field that is rapidly gaining prominence due to its profound impact on drone autonomy and functionality. Different from existing task-specific surveys, this review offers a comprehensive overview of vision-based learning in drones, emphasizing its pivotal role in enhancing their operational capabilities. We start by elucidating the fundamental principles of vision-based learning, highlighting how it significantly improves drones’ visual perception and decision-making processes. We then categorize vision-based control methods into indirect, semi-direct, and end-to-end approaches from the perception-control perspective. We further explore various applications of vision-based drones with learning capabilities, ranging from single-agent systems to more complex multi-agent and heterogeneous system scenarios, and underscore the challenges and innovations characterizing each area. Finally, we explore open questions and potential solutions, paving the way for ongoing research and development in this dynamic and rapidly evolving field. With growing large language models (LLMs) and embodied intelligence, vision-based learning for drones provides a promising but challenging road towards artificial general intelligence (AGI) in 3D physical world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google