Attention-Driven Hierarchical Reinforcement Learning with Particle Filtering for Source Localization in Dynamic Fields

要約

ガス漏れ検出や環境汚染物質の追跡など、現実世界の多くのシナリオでは、逆発生源位置特定と特性評価問題を解決するには、まばらでノイズの多い観測を伴う複雑で動的フィールドをナビゲートする必要があります。
従来の手法は、部分的な可観測性、時間的および空間的ダイナミクス、分布外の一般化、報酬の希薄性などの重大な課題に直面しています。
これらの問題に対処するために、ベイズ推論と強化学習を統合する階層フレームワークを提案します。
このフレームワークは、効率的かつ正確な信念更新のためにアテンション強化粒子フィルタリング メカニズムを活用し、アテンション粒子フィルタリング計画とアテンション粒子フィルタリング強化学習という 2 つの相補的な実行戦略を組み込みます。
これらのアプローチは、不確実性の下での探索と適応を最適化します。
理論的な分析により、注意強化粒子フィルターの収束性が証明される一方、さまざまなシナリオにわたる広範な実験により、フレームワークの優れた精度、適応性、計算効率が検証されます。
私たちの結果は、動的フィールド推定タスクにおける広範なアプリケーションに対するフレームワークの可能性を強調しています。

要約(オリジナル)

In many real-world scenarios, such as gas leak detection or environmental pollutant tracking, solving the Inverse Source Localization and Characterization problem involves navigating complex, dynamic fields with sparse and noisy observations. Traditional methods face significant challenges, including partial observability, temporal and spatial dynamics, out-of-distribution generalization, and reward sparsity. To address these issues, we propose a hierarchical framework that integrates Bayesian inference and reinforcement learning. The framework leverages an attention-enhanced particle filtering mechanism for efficient and accurate belief updates, and incorporates two complementary execution strategies: Attention Particle Filtering Planning and Attention Particle Filtering Reinforcement Learning. These approaches optimize exploration and adaptation under uncertainty. Theoretical analysis proves the convergence of the attention-enhanced particle filter, while extensive experiments across diverse scenarios validate the framework’s superior accuracy, adaptability, and computational efficiency. Our results highlight the framework’s potential for broad applications in dynamic field estimation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google