Deep hybrid models: infer and plan in the real world

要約

目標を達成するための最適な計画を決定することは、多くの場合、複数のエンティティ間の動的な因果関係で構成される現実的なシナリオでは困難な問題です。
従来、このような問題は最適制御と強化学習によって解決されてきましたが、最近の生物学的動機に基づいた提案では、計画と制御を推論プロセスとして位置づけています。
これらの新しいアプローチの中で、特に有望なアプローチの 1 つが、能動推論です。
この新しいパラダイムは、行動と知覚が人生の 2 つの相補的な側面であり、前者の役割は後者によって推測される予測を満たすことであると仮定しています。
この研究では、能動的推論に基づいて、複雑な制御タスクに対する効果的なソリューションを紹介します。
提案されたアーキテクチャは、ハイブリッド (離散的および連続的) 処理を利用して自己と環境の階層的かつ動的な表現を構築し、それを使用して、さまざまな時間スケールのサブ目標で構成される柔軟な計画を生成します。
このディープ ハイブリッド モデルを、移動ツールを選択した後に移動オブジェクトに到達するという重要なタスクで評価します。
この研究は、推論としての計画に関する過去の研究を拡張し、最適制御と強化学習への代替方向を前進させます。

要約(オリジナル)

Determining an optimal plan to accomplish a goal is a hard problem in realistic scenarios, which often comprise dynamic and causal relationships between several entities. Although traditionally such problems have been tackled with optimal control and reinforcement learning, a recent biologically-motivated proposal casts planning and control as an inference process. Among these new approaches, one is particularly promising: active inference. This new paradigm assumes that action and perception are two complementary aspects of life whereby the role of the former is to fulfill the predictions inferred by the latter. In this study, we present an effective solution, based on active inference, to complex control tasks. The proposed architecture exploits hybrid (discrete and continuous) processing to construct a hierarchical and dynamic representation of the self and the environment, which is then used to produce a flexible plan consisting of subgoals at different temporal scales. We evaluate this deep hybrid model on a non-trivial task: reaching a moving object after having picked a moving tool. This study extends past work on planning as inference and advances an alternative direction to optimal control and reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google