ImpedanceGPT: VLM-driven Impedance Control of Swarm of Mini-drones for Intelligent Navigation in Dynamic Environment

要約

Swarm Roboticsは、動的で予測不可能な環境で自律的な操作を可能にする上で重要な役割を果たします。
しかし、大きな課題は、動的な生きた（例えば、人間）と動的な無生物（例えば、生きていないオブジェクト）の障害の両方で満たされた環境での安全で効率的なナビゲーションを確保することを保証しています。
このホワイトペーパーでは、視覚言語モデル（VLM）と検索生成（RAG）を組み合わせて、複雑な環境でのミニドローンスワームの適応ナビゲーションのリアルタイム推論を可能にする新しいシステムであるImpedanceGPTを提案します。
ImpedanceGptの重要な革新は、VLMとRAGの統合にあり、ドローンに周囲の意味的理解が向上します。
これにより、システムは障害物の種類と環境条件に応じてインピーダンス制御パラメーターを動的に調整できます。
私たちのアプローチは、安全で正確なナビゲーションを保証するだけでなく、群れのドローン間の調整を改善します。
実験的評価は、システムの有効性を示しています。
VLM-RAGフレームワークは、最適な照明の下で80％の障害物検出と検索精度を達成しました。
静的環境では、ドローンは1.4 m/sで動的な無生物障害をナビゲートしましたが、人間の周りの分離が増加して0.7 m/sに減速しました。
動的環境では、速度は1.0 m/sに近い硬い障害物に調整され、人間の動きを安全に避けるために高い偏向で0.6 m/sに減少します。

要約(オリジナル)

Swarm robotics plays a crucial role in enabling autonomous operations in dynamic and unpredictable environments. However, a major challenge remains ensuring safe and efficient navigation in environments filled with both dynamic alive (e.g., humans) and dynamic inanimate (e.g., non-living objects) obstacles. In this paper, we propose ImpedanceGPT, a novel system that combines a Vision-Language Model (VLM) with retrieval-augmented generation (RAG) to enable real-time reasoning for adaptive navigation of mini-drone swarms in complex environments. The key innovation of ImpedanceGPT lies in the integration of VLM and RAG, which provides the drones with enhanced semantic understanding of their surroundings. This enables the system to dynamically adjust impedance control parameters in response to obstacle types and environmental conditions. Our approach not only ensures safe and precise navigation but also improves coordination between drones in the swarm. Experimental evaluations demonstrate the effectiveness of the system. The VLM-RAG framework achieved an obstacle detection and retrieval accuracy of 80 % under optimal lighting. In static environments, drones navigated dynamic inanimate obstacles at 1.4 m/s but slowed to 0.7 m/s with increased separation around humans. In dynamic environments, speed adjusted to 1.0 m/s near hard obstacles, while reducing to 0.6 m/s with higher deflection to safely avoid moving humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google