Hybrid Recurrent Models Support Emergent Descriptions for Hierarchical Planning and Control

要約

人工知能における未解決の問題は、本質的に連続的な問題の解決に役立つ離散抽象化をシステムがどのように柔軟に学習できるかということです。
これまでの研究では、リカレントスイッチング線形力学システム（rSLDS）として知られるハイブリッド状態空間モデルのクラスが、複雑な連続ダイナミクスの区分的線形分解を介して意味のある動作単位を発見することが実証されています（Linderman et al.、2016）。
さらに、基礎となる連続状態がこれらの離散モード スイッチをどのように駆動するかをモデル化します。
私たちは、rSLDS によって形成される豊富な表現が計画と制御に有用な抽象化を提供できることを提案します。
我々は、離散 MDP が低レベルの線形 2 次コントローラーの上に位置する、アクティブ推論に触発された新しい階層モデルベースのアルゴリズムを紹介します。
rSLDS によって学習された反復遷移ダイナミクスにより、(1) オプション フレームワークを彷彿とさせる方法で時間的に抽象化されたサブ目標を指定でき、(2) 探索を離散空間に引き上げることができるため、情報理論的な探索ボーナスを活用できます。
3) 離散プランナー内の低レベル問題に対する近似解を「キャッシュ」します。
私たちはモデルを疎な連続登山車タスクに適用することに成功し、抽象的なサブ目標の描写を通じて強化された探索と重要な計画を介して迅速なシステム識別を実証しました。

要約(オリジナル)

An open problem in artificial intelligence is how systems can flexibly learn discrete abstractions that are useful for solving inherently continuous problems. Previous work has demonstrated that a class of hybrid state-space model known as recurrent switching linear dynamical systems (rSLDS) discover meaningful behavioural units via the piecewise linear decomposition of complex continuous dynamics (Linderman et al., 2016). Furthermore, they model how the underlying continuous states drive these discrete mode switches. We propose that the rich representations formed by an rSLDS can provide useful abstractions for planning and control. We present a novel hierarchical model-based algorithm inspired by Active Inference in which a discrete MDP sits above a low-level linear-quadratic controller. The recurrent transition dynamics learned by the rSLDS allow us to (1) specify temporally-abstracted sub-goals in a method reminiscent of the options framework, (2) lift the exploration into discrete space allowing us to exploit information-theoretic exploration bonuses and (3) `cache’ the approximate solutions to low-level problems in the discrete planner. We successfully apply our model to the sparse Continuous Mountain Car task, demonstrating fast system identification via enhanced exploration and non-trivial planning through the delineation of abstract sub-goals.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google