NEUSIS: A Compositional Neuro-Symbolic Framework for Autonomous Perception, Reasoning, and Planning in Complex UAV Search Missions

要約

この論文では、立ち入り禁止ゾーンのある大規模で危険が発生しやすい環境での簡単な説明に基づいて、UAV が制限時間内に特定の対象実体 (EOI) を見つけなければならない自律型 UAV 捜索ミッションの問題について取り上げます。
UAV は、限られた不確実な情報を認識し、推論し、決定を下さなければなりません。
我々は、現実的なシナリオにおける解釈可能な UAV の探索とナビゲーションのために設計された構成神経記号システムである NEUSIS を提案します。
NEUSIS は、神経象徴的な視覚知覚、推論、グラウンディング (GRiD) を統合して生の感覚入力を処理し、環境表現のための確率的世界モデルを維持し、効率的な経路計画のために階層計画コンポーネント (SNaC) を使用します。
AirSim と Unreal Engine を使用して都市探索ミッションをシミュレートした実験結果では、NEUSIS が成功率、探索効率、3D ローカリゼーションの点で最先端 (SOTA) 視覚言語モデルや SOTA 探索計画モデルよりも優れていることが示されています。
これらの結果は、複雑な現実世界のシナリオを処理する際の私たちの構成的神経象徴的アプローチの有効性を実証しており、捜索ミッションにおける自律型 UAV システムにとって有望なソリューションとなっています。

要約(オリジナル)

This paper addresses the problem of autonomous UAV search missions, where a UAV must locate specific Entities of Interest (EOIs) within a time limit, based on brief descriptions in large, hazard-prone environments with keep-out zones. The UAV must perceive, reason, and make decisions with limited and uncertain information. We propose NEUSIS, a compositional neuro-symbolic system designed for interpretable UAV search and navigation in realistic scenarios. NEUSIS integrates neuro-symbolic visual perception, reasoning, and grounding (GRiD) to process raw sensory inputs, maintains a probabilistic world model for environment representation, and uses a hierarchical planning component (SNaC) for efficient path planning. Experimental results from simulated urban search missions using AirSim and Unreal Engine show that NEUSIS outperforms a state-of-the-art (SOTA) vision-language model and a SOTA search planning model in success rate, search efficiency, and 3D localization. These results demonstrate the effectiveness of our compositional neuro-symbolic approach in handling complex, real-world scenarios, making it a promising solution for autonomous UAV systems in search missions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google