Active Inference Tree Search in Large POMDPs

要約

前もって効率的に計画を立てる能力は、生物と人工システムの両方にとって重要です。
モデルベースの計画と予測は、認知神経科学と人工知能 (AI) で広く研究されていますが、さまざまな視点から、またさまざまな必要性 (生物学的リアリズムとスケーラビリティ) を念頭に置いており、調整が困難です。
ここでは、POMDP で計画するための新しい方法、アクティブ推論ツリー検索 (AcT) を紹介します。これは、神経科学における主要な計画理論 (アクティブ推論) の規範的な特徴と生物学的リアリズム、および AI におけるツリー検索方法のスケーラビリティを組み合わせたものです。
.
この統合により、両方のアプローチが強化されます。
一方では、ツリー探索により、生物学的に根拠のある能動的推論の第一原理法を大規模な問題に適用することができます。
一方、アクティブな推論は、探索と搾取のジレンマに対する原則的な解決策を提供します。これは、ツリー探索手法でヒューリスティックに対処されることがよくあります。
私たちのシミュレーションは、AcT が、サンプリングベースの方法、適応探索を必要とする問題、および最新の POMDP ソリューションを再現する大規模な POMDP 問題「RockSample」にとって困難な二分木をうまくナビゲートすることを示しています。
さらに、AcT を使用して、大規模な計画問題を解決する人間や他の動物の神経生理学的反応 (海馬や前頭前皮質など) をシミュレートする方法を示します。
これらの数値解析は、Active Tree Search が神経科学および AI 計画理論の原則に基づいた実現であり、生物学的リアリズムとスケーラビリティの両方を提供することを示しています。

要約(オリジナル)

The ability to plan ahead efficiently is key for both living organisms and artificial systems. Model-based planning and prospection are widely studied in cognitive neuroscience and artificial intelligence (AI), but from different perspectives–and with different desiderata in mind (biological realism versus scalability) that are difficult to reconcile. Here, we introduce a novel method to plan in POMDPs–Active Inference Tree Search (AcT)–that combines the normative character and biological realism of a leading planning theory in neuroscience (Active Inference) and the scalability of tree search methods in AI. This unification enhances both approaches. On the one hand, tree searches enable the biologically grounded, first principle method of active inference to be applied to large-scale problems. On the other hand, active inference provides a principled solution to the exploration-exploitation dilemma, which is often addressed heuristically in tree search methods. Our simulations show that AcT successfully navigates binary trees that are challenging for sampling-based methods, problems that require adaptive exploration, and the large POMDP problem ‘RockSample’–in which AcT reproduces state-of-the-art POMDP solutions. Furthermore, we illustrate how AcT can be used to simulate neurophysiological responses (e.g., in the hippocampus and prefrontal cortex) of humans and other animals that solve large planning problems. These numerical analyses show that Active Tree Search is a principled realisation of neuroscientific and AI planning theories, which offer both biological realism and scalability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google