Dynamic planning in hierarchical active inference

要約

動的計画とは、認知的決定に関連する運動軌道を推測し、強制する人間の脳の能力を指します。
最近のパラダイムである能動的推論は、生物有機体の適応に関する基本的な洞察をもたらし、予測誤差を最小限に抑えて生命適合状態に制限するよう常に努めています。
過去数年にわたって、人間や動物の行動が、離散的な意思決定または連続的な運動制御などの能動推論の観点からどのように説明され、ロボット工学や人工知能における革新的なソリューションを生み出すことができるかを多くの研究が示してきました。
それでも、文献には、変化する環境において現実的な行動を効果的に計画するための包括的な見通しが欠けています。
ツールの使用などの複雑なタスクをモデル化するという目標を設定し、生物学的行動の 2 つの重要な側面を念頭に置きながら、能動的推論における動的プランニングのトピックを掘り下げます。それは、オブジェクト操作のためのアフォーダンスを理解して活用する能力と、アフォーダンスを学習する能力です。
自己と他のエージェントを含む環境との間の階層的な相互作用。
単純なユニットから始めて、最近提案された設計の選択肢を比較し、基本的な例を提供しながら、徐々により高度な構造について説明します。
この研究は、ニューラル ネットワークと強化学習を中心とした従来の見解から距離を置き、能動推論におけるまだ未踏の方向、つまり階層モデルでのハイブリッド表現を示しています。

要約(オリジナル)

By dynamic planning, we refer to the ability of the human brain to infer and impose motor trajectories related to cognitive decisions. A recent paradigm, active inference, brings fundamental insights into the adaptation of biological organisms, constantly striving to minimize prediction errors to restrict themselves to life-compatible states. Over the past years, many studies have shown how human and animal behaviors could be explained in terms of active inference – either as discrete decision-making or continuous motor control – inspiring innovative solutions in robotics and artificial intelligence. Still, the literature lacks a comprehensive outlook on effectively planning realistic actions in changing environments. Setting ourselves the goal of modeling complex tasks such as tool use, we delve into the topic of dynamic planning in active inference, keeping in mind two crucial aspects of biological behavior: the capacity to understand and exploit affordances for object manipulation, and to learn the hierarchical interactions between the self and the environment, including other agents. We start from a simple unit and gradually describe more advanced structures, comparing recently proposed design choices and providing basic examples. This study distances itself from traditional views centered on neural networks and reinforcement learning, and points toward a yet unexplored direction in active inference: hybrid representations in hierarchical models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google