Towards Autonomous UAV Visual Object Search in City Space: Benchmark and Agentic Methodology

要約

都市環境での航空視覚オブジェクト検索（AVOS）タスクでは、外部ガイダンスなしで視覚的およびテキストキューを使用してターゲットオブジェクトを自律的に検索および識別するために、無人航空機（UAV）が必要です。
既存のアプローチは、冗長なセマンティック処理、同様のオブジェクトの区別、および探査爆発のジレンマのために、複雑な都市環境で闘っています。
このギャップを埋め、AVOSタスクをサポートするために、一般的な都市オブジェクトの自律検索のための最初のベンチマークデータセットであるCityAvosを紹介します。
このデータセットは、さまざまな難易度レベルを持つ6つのオブジェクトカテゴリにわたる2,420のタスクで構成されており、UAVエージェントの検索機能を包括的に評価できます。
AVOSタスクを解決するために、人間の3層認知を模倣するマルチモーダル大手言語モデル（MLLM）を搭載した新しいエージェントメソッドであるPrpsearcher（知覚リアーズリング計画検索者）も提案します。
具体的には、PRPSearcherは、3つの特殊なマップを構築します。オブジェクト中心の動的セマンティックマップ空間知覚を強化する、ターゲット推論のセマンティックアトラクション値に基づく3D認知マップ、およびバランスの取れた探索 – 爆発検索の3D不確実性マップ。
また、私たちのアプローチには、類似のオブジェクトからの干渉を緩和するための除去メカニズムが組み込まれ、インスピレーション促進思想（IPT）促進メカニズムのインスピレーションを利用します。
CityAvosの実験結果は、Prpsearcherが成功率と検索効率の両方で既存のベースラインを上回ることを示しています（平均： +37.69％SR、 +28.96％SPL、-30.69％MSS、および-46.40％NE）。
有望である一方で、人間と比較したパフォーマンスのギャップは、AVOSタスクにおけるより良い意味的推論と空間的探査機能の必要性を強調しています。
この作業は、具体化されたターゲット検索における将来の進歩の基盤を確立します。
データセットとソースコードは、https：//anonymous.4open.science/r/cityavos-3df8で入手できます。

要約(オリジナル)

Aerial Visual Object Search (AVOS) tasks in urban environments require Unmanned Aerial Vehicles (UAVs) to autonomously search for and identify target objects using visual and textual cues without external guidance. Existing approaches struggle in complex urban environments due to redundant semantic processing, similar object distinction, and the exploration-exploitation dilemma. To bridge this gap and support the AVOS task, we introduce CityAVOS, the first benchmark dataset for autonomous search of common urban objects. This dataset comprises 2,420 tasks across six object categories with varying difficulty levels, enabling comprehensive evaluation of UAV agents’ search capabilities. To solve the AVOS tasks, we also propose PRPSearcher (Perception-Reasoning-Planning Searcher), a novel agentic method powered by multi-modal large language models (MLLMs) that mimics human three-tier cognition. Specifically, PRPSearcher constructs three specialized maps: an object-centric dynamic semantic map enhancing spatial perception, a 3D cognitive map based on semantic attraction values for target reasoning, and a 3D uncertainty map for balanced exploration-exploitation search. Also, our approach incorporates a denoising mechanism to mitigate interference from similar objects and utilizes an Inspiration Promote Thought (IPT) prompting mechanism for adaptive action planning. Experimental results on CityAVOS demonstrate that PRPSearcher surpasses existing baselines in both success rate and search efficiency (on average: +37.69% SR, +28.96% SPL, -30.69% MSS, and -46.40% NE). While promising, the performance gap compared to humans highlights the need for better semantic reasoning and spatial exploration capabilities in AVOS tasks. This work establishes a foundation for future advances in embodied target search. Dataset and source code are available at https://anonymous.4open.science/r/CityAVOS-3DF8.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google