Active Inference as a Model of Agency

要約

報酬の最大化を超えてエージェンシーについて考える標準的な方法はあるのでしょうか?
この論文では、巨視的な生物学的因子が世界とどのように相互作用するかについて物理的に健全な仮定に従うあらゆるタイプの行動は、世界の状態に関するリスクと曖昧さを最小限に抑えるという意味で、探索と搾取を標準的に統合することを示します。
能動推論として知られるこの記述は、神経科学に由来する行動と知覚の一般的な記述枠組みである自由エネルギー原理を洗練させたものです。
能動推論は、行動神経科学、強化学習 (RL)、ロボット工学で広く使用されている主体性をシミュレートおよびモデル化するための規範的なベイジアン フレームワークを提供します。
RL における能動推論の有用性は 3 つあります。
\emph{a}) 能動推論は、生物学的主体を効果的にシミュレートする、探索と活用のジレンマに対する原則に基づいた解決策を提供します。
\emph{b}) これは、行動をシミュレートするための説明可能なレシピを提供します。その場合、行動は生成世界モデルの下で探索と活用の説明可能な混合物として続き、行動のすべての違いは世界モデルの違いとして明示されます。
\emph{c}) このフレームワークは、能動推論の記述的仮定に準拠する任意の RL アルゴリズムを能動推論アルゴリズムとして書き直すことが理論的に可能であるという意味で普遍的です。
したがって、能動的推論は、より具体的な主体性モデルのコミットメントと仮定を明らかにし、比較するためのツールとして使用できます。

要約(オリジナル)

Is there a canonical way to think of agency beyond reward maximisation? In this paper, we show that any type of behaviour complying with physically sound assumptions about how macroscopic biological agents interact with the world canonically integrates exploration and exploitation in the sense of minimising risk and ambiguity about states of the world. This description, known as active inference, refines the free energy principle, a popular descriptive framework for action and perception originating in neuroscience. Active inference provides a normative Bayesian framework to simulate and model agency that is widely used in behavioural neuroscience, reinforcement learning (RL) and robotics. The usefulness of active inference for RL is three-fold. \emph{a}) Active inference provides a principled solution to the exploration-exploitation dilemma that usefully simulates biological agency. \emph{b}) It provides an explainable recipe to simulate behaviour, whence behaviour follows as an explainable mixture of exploration and exploitation under a generative world model, and all differences in behaviour are explicit in differences in world model. \emph{c}) This framework is universal in the sense that it is theoretically possible to rewrite any RL algorithm conforming to the descriptive assumptions of active inference as an active inference algorithm. Thus, active inference can be used as a tool to uncover and compare the commitments and assumptions of more specific models of agency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google