DMWM: Dual-Mind World Model with Long-Term Imagination

要約

世界モデルの想像力は、エージェントがサンプル効率の良い方法で長老のポリシーを学ぶことができるために重要です。
既存の再発状態空間モデル（RSSM）ベースの世界モデルは、環境ダイナミクスをキャプチャするための単一ステップの統計的推論に依存しているため、予測エラーの蓄積により長期的な想像力タスクを実行できません。
人間の認知のデュアルプロセス理論に触発された私たちは、論理的な推論を統合して想像力を論理的な一貫性を可能にする新しいデュアルマインドワールドモデル（DMWM）フレームワークを提案します。
DMWMは、直感的な方法で状態遷移を処理するRSSMベースのシステム1（RSSM-S1）コンポーネントと、論理統合されたニューラルネットワークベースのシステム2（LINN-S2）コンポーネントの2つのコンポーネントで構成されています。
階層的な深い論理推論。
システム間フィードバックメカニズムは、想像力が実際の環境の論理ルールに従うように設計されています。
提案されたフレームワークは、DMControlスイートからの長期計画を必要とするベンチマークタスクで評価されます。
広範な実験結果は、提案されたフレームワークが、最先端の世界モデルにおける論理的一貫性、試験効率、データ効率、長期的な想像力の観点から大幅な改善をもたらすことを示しています。

要約(オリジナル)

Imagination in world models is crucial for enabling agents to learn long-horizon policy in a sample-efficient manner. Existing recurrent state-space model (RSSM)-based world models depend on single-step statistical inference to capture the environment dynamics, and, hence, they are unable to perform long-term imagination tasks due to the accumulation of prediction errors. Inspired by the dual-process theory of human cognition, we propose a novel dual-mind world model (DMWM) framework that integrates logical reasoning to enable imagination with logical consistency. DMWM is composed of two components: an RSSM-based System 1 (RSSM-S1) component that handles state transitions in an intuitive manner and a logic-integrated neural network-based System 2 (LINN-S2) component that guides the imagination process through hierarchical deep logical reasoning. The inter-system feedback mechanism is designed to ensure that the imagination process follows the logical rules of the real environment. The proposed framework is evaluated on benchmark tasks that require long-term planning from the DMControl suite. Extensive experimental results demonstrate that the proposed framework yields significant improvements in terms of logical coherence, trial efficiency, data efficiency and long-term imagination over the state-of-the-art world models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google