A Safer Vision-based Autonomous Planning System for Quadrotor UAVs with Dynamic Obstacle Trajectory Prediction and Its Application with LLMs

要約

インテリジェントなクアッドコプター UAV には、堅牢で信頼性の高い自律計画システムが不可欠です。
UAV の現在の軌道計画方法のほとんどは、静的な環境には適していますが、飛行に課題や危険をもたらす可能性がある動的な障害物に対処するのが困難です。
この問題に対処するために、本論文では、動的障害物の追跡と軌道予測を組み合わせて、効率的で信頼性の高い自律飛行を実現するビジョンベースの計画システムを提案します。
軽量の物体検出アルゴリズムを使用して動的障害物を識別し、カルマン フィルターを使用してその運動状態を追跡および推定します。
計画段階では、静的な障害物だけを考慮するだけでなく、動的な障害物の潜在的な動きも考慮します。
軌道の生成には、B スプライン ベースの軌道探索アルゴリズムを使用します。これは、安全性と UAV の運動特性との整合性を強化するために、さまざまな制約でさらに最適化されています。
私たちはシミュレーション環境と現実世界の両方の環境で実験を実施しました。その結果、私たちのアプローチは動的環境で障害物をリアルタイムで検出して回避することに成功し、既存のアプローチと比較してより高い信頼性を提供できることがわかりました。
さらに、自然言語処理 (NLP) テクノロジーの進歩により、優れたゼロショット汎化機能が実証され、よりユーザーフレンドリーなヒューマンマシンインタラクションが実現可能になりました。また、この研究では、自律計画システムと大規模言語モデル (LLM) の統合についても調査しています。
）。

要約(オリジナル)

For intelligent quadcopter UAVs, a robust and reliable autonomous planning system is crucial. Most current trajectory planning methods for UAVs are suitable for static environments but struggle to handle dynamic obstacles, which can pose challenges and even dangers to flight. To address this issue, this paper proposes a vision-based planning system that combines tracking and trajectory prediction of dynamic obstacles to achieve efficient and reliable autonomous flight. We use a lightweight object detection algorithm to identify dynamic obstacles and then use Kalman Filtering to track and estimate their motion states. During the planning phase, we not only consider static obstacles but also account for the potential movements of dynamic obstacles. For trajectory generation, we use a B-spline-based trajectory search algorithm, which is further optimized with various constraints to enhance safety and alignment with the UAV’s motion characteristics. We conduct experiments in both simulation and real-world environments, and the results indicate that our approach can successfully detect and avoid obstacles in dynamic environments in real-time, offering greater reliability compared to existing approaches. Furthermore, with the advancements in Natural Language Processing (NLP) technology demonstrating exceptional zero-shot generalization capabilities, more user-friendly human-machine interactions have become feasible, and this study also explores the integration of autonomous planning systems with Large Language Models (LLMs).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google