Dynamic planning in hierarchical active inference

要約

動的計画とは、認知的決定に関連する運動軌道を推測し、強制する人間の脳の能力を指します。
最近のパラダイムである能動的推論は、生物有機体の適応に関する基本的な洞察をもたらし、予測誤差を最小限に抑えて生命適合状態に制限するよう常に努めています。
過去数年にわたって、人間や動物の行動が、離散的な意思決定または連続的な運動制御などの能動的な推論プロセスの観点からどのように説明できるかが多くの研究で示され、ロボット工学や人工知能における革新的なソリューションが生み出されてきました。
それでも、文献には、変化する環境で効果的に行動を計画する方法についての包括的な見通しが欠けています。
モデリング ツールの使用という目標を設定し、生物学的目標指向行動の 2 つの重要な側面を念頭に置きながら、能動的推論における動的計画のトピックを掘り下げます。それは、オブジェクト操作のためのアフォーダンスを理解し活用する能力と、階層構造を学習する能力です。
自己と他のエージェントを含む環境との間の相互作用。
単純なユニットから始めて、最近提案された設計の選択肢を比較し、各セクションの基本的な例を提供しながら、徐々により高度な構造について説明します。
この研究は、ニューラル ネットワークと強化学習を中心とした従来の見解から距離を置き、能動推論におけるまだ未踏の方向、つまり階層モデルでのハイブリッド表現を示しています。

要約(オリジナル)

By dynamic planning, we refer to the ability of the human brain to infer and impose motor trajectories related to cognitive decisions. A recent paradigm, active inference, brings fundamental insights into the adaptation of biological organisms, constantly striving to minimize prediction errors to restrict themselves to life-compatible states. Over the past years, many studies have shown how human and animal behavior could be explained in terms of an active inferential process – either as discrete decision-making or continuous motor control – inspiring innovative solutions in robotics and artificial intelligence. Still, the literature lacks a comprehensive outlook on how to effectively plan actions in changing environments. Setting ourselves the goal of modeling tool use, we delve into the topic of dynamic planning in active inference, keeping in mind two crucial aspects of biological goal-directed behavior: the capacity to understand and exploit affordances for object manipulation, and to learn the hierarchical interactions between the self and the environment, including other agents. We start from a simple unit and gradually describe more advanced structures, comparing recently proposed design choices and providing basic examples for each section. This study distances itself from traditional views centered on neural networks and reinforcement learning, and points toward a yet unexplored direction in active inference: hybrid representations in hierarchical models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google