Latent Plan Transformer: Planning as Latent Variable Inference

要約

長期的な利益を目指す仕事では、計画が不可欠になります。
私たちは、オフライン強化学習から再利用されたデータセットを使用した計画のための生成モデリングを研究しています。
具体的には、段階的な報酬がない場合の時間的一貫性が重要な技術的課題の 1 つであると特定します。
潜在空間を活用して、Transformer ベースの軌道ジェネレーターと最終リターンを接続する新しいモデルである Latent Plan Transformer (LPT) を紹介します。
LPT は、軌道と戻りのペアに対する最尤推定を使用して学習できます。
学習では、潜在変数の事後サンプリングにより、サブ軌道が自然に統合され、有限のコンテキストにもかかわらず一貫した抽象化が形成されます。
テスト時には、潜在変数がポリシー実行前の期待リターンから推論され、推論としての計画のアイデアが実現されます。
私たちの実験では、LPT が次善の軌道から改善された決定を発見し、Gym-Mujoco、Franka Kitchen、Maze2D、Connect Four などのいくつかのベンチマークにわたって競争力のあるパフォーマンスを達成できることを実証しました。
微妙なクレジットの割り当て、軌道のつなぎ合わせ、環境上の不測の事態への適応において能力を発揮します。
これらの結果は、潜在変数推論が段階的な報酬プロンプトの強力な代替手段になり得ることを検証します。

要約(オリジナル)

In tasks aiming for long-term returns, planning becomes essential. We study generative modeling for planning with datasets repurposed from offline reinforcement learning. Specifically, we identify temporal consistency in the absence of step-wise rewards as one key technical challenge. We introduce the Latent Plan Transformer (LPT), a novel model that leverages a latent space to connect a Transformer-based trajectory generator and the final return. LPT can be learned with maximum likelihood estimation on trajectory-return pairs. In learning, posterior sampling of the latent variable naturally integrates sub-trajectories to form a consistent abstraction despite the finite context. At test time, the latent variable is inferred from an expected return before policy execution, realizing the idea of planning as inference. Our experiments demonstrate that LPT can discover improved decisions from suboptimal trajectories, achieving competitive performance across several benchmarks, including Gym-Mujoco, Franka Kitchen, Maze2D, and Connect Four. It exhibits capabilities in nuanced credit assignments, trajectory stitching, and adaptation to environmental contingencies. These results validate that latent variable inference can be a strong alternative to step-wise reward prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google