A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty

要約

探索は実践的な強化学習 (RL) における重要な課題であり、認識的不確実性と偶発的不確実性の定量化を組み込んだ不確実性を意識した探索は、効果的な探索戦略として認識されています。
しかし、意思決定における偶発的不確実性と認識論的不確実性の複合的な影響を捉えることは困難です。
既存の研究では、偶発的不確実性と認識的不確実性を別々に推定し、複合不確実性を 2 つの加算的な組み合わせとして考慮しています。
それにもかかわらず、添加剤配合は過度のリスクを取る行動につながり、不安定性を引き起こします。
この論文では、偶発的不確実性と認識論的不確実性の間の理論的関係を明確にし、偶発的不確実性と認識論的不確実性の推定を統合し、リスクに敏感な探査のための両方の不確実性の複合効果を定量化するアルゴリズムを提案します。
私たちの方法は、パラメータ化された収益分布を推定する分布 RL の新しい拡張に基づいて構築されており、そのパラメータは認識論的不確実性をエンコードする確率変数です。
探索とリスク課題を伴うタスクに関する実験結果は、私たちの方法が他のアプローチよりも優れていることを示しています。

要約(オリジナル)

Exploration is a significant challenge in practical reinforcement learning (RL), and uncertainty-aware exploration that incorporates the quantification of epistemic and aleatory uncertainty has been recognized as an effective exploration strategy. However, capturing the combined effect of aleatory and epistemic uncertainty for decision-making is difficult. Existing works estimate aleatory and epistemic uncertainty separately and consider the composite uncertainty as an additive combination of the two. Nevertheless, the additive formulation leads to excessive risk-taking behavior, causing instability. In this paper, we propose an algorithm that clarifies the theoretical connection between aleatory and epistemic uncertainty, unifies aleatory and epistemic uncertainty estimation, and quantifies the combined effect of both uncertainties for a risk-sensitive exploration. Our method builds on a novel extension of distributional RL that estimates a parameterized return distribution whose parameters are random variables encoding epistemic uncertainty. Experimental results on tasks with exploration and risk challenges show that our method outperforms alternative approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google