Active Inference Tree Search in Large POMDPs

要約

事前に効率的に計画を立てる能力は、生物と人工システムの両方にとって重要です。
モデルベースの計画と見通しは、認知神経科学と人工知能 (AI) で広く研究されていますが、異なる観点から、また異なる要望 (生物学的現実性とスケーラビリティ) を念頭に置いており、それらを調和させるのは困難です。
ここでは、POMDP で計画を立てるための新しい方法であるアクティブ推論ツリー検索 (AcT) を紹介します。これは、神経科学における主要な計画理論 (アクティブ推論) の規範的性格と生物学的現実主義、および AI におけるツリー検索手法のスケーラビリティを組み合わせたものです。
。
この統合により、両方のアプローチが強化されます。
一方では、ツリー検索により、生物学的に根拠のある能動推論の第一原理手法を大規模な問題に適用できるようになります。
一方、能動推論は、探索と活用のジレンマに対する原理的な解決策を提供します。このジレンマは、ツリー検索手法でヒューリスティックに対処されることがよくあります。
私たちのシミュレーションでは、AcT が、サンプリング ベースの手法にとって困難なバイナリ ツリー、適応探索を必要とする問題、および AcT が最先端の POMDP ソリューションを再現する大規模な POMDP 問題「RockSample」をうまくナビゲートできることが示されています。
さらに、AcT を使用して、大きな計画問題を解決する人間や他の動物の神経生理学的反応 (海馬や前頭前皮質など) をシミュレートする方法を説明します。
これらの数値分析は、アクティブ ツリー検索が神経科学と AI 計画理論の原則に基づいた実現であり、生物学的な現実性とスケーラビリティの両方を提供することを示しています。

要約(オリジナル)

The ability to plan ahead efficiently is key for both living organisms and artificial systems. Model-based planning and prospection are widely studied in cognitive neuroscience and artificial intelligence (AI), but from different perspectives–and with different desiderata in mind (biological realism versus scalability) that are difficult to reconcile. Here, we introduce a novel method to plan in POMDPs–Active Inference Tree Search (AcT)–that combines the normative character and biological realism of a leading planning theory in neuroscience (Active Inference) and the scalability of tree search methods in AI. This unification enhances both approaches. On the one hand, tree searches enable the biologically grounded, first principle method of active inference to be applied to large-scale problems. On the other hand, active inference provides a principled solution to the exploration-exploitation dilemma, which is often addressed heuristically in tree search methods. Our simulations show that AcT successfully navigates binary trees that are challenging for sampling-based methods, problems that require adaptive exploration, and the large POMDP problem ‘RockSample’–in which AcT reproduces state-of-the-art POMDP solutions. Furthermore, we illustrate how AcT can be used to simulate neurophysiological responses (e.g., in the hippocampus and prefrontal cortex) of humans and other animals that solve large planning problems. These numerical analyses show that Active Tree Search is a principled realisation of neuroscientific and AI planning theories, which offer both biological realism and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google