Is Conditional Generative Modeling all you need for Decision-Making?

要約

最近の条件付き生成モデリングの改良により、言語記述だけから高品質の画像を生成できるようになりました。
私たちは、これらの方法が逐次的な意思決定の問題に直接対処できるかどうかを調査します。
私たちは意思決定を強化学習 (RL) のレンズを通してではなく、条件付き生成モデリングを通して見ています。
驚いたことに、私たちの定式化により、標準ベンチマーク全体で既存のオフライン RL アプローチを上回るパフォーマンスを発揮できるポリシーが得られることがわかりました。
ポリシーを返品条件付き拡散モデルとしてモデル化することで、動的プログラミングの必要性を回避し、その後、従来のオフライン RL に伴う複雑さの多くを排除できる方法を示します。
さらに、制約とスキルという他の 2 つの条件変数を考慮することにより、条件付き拡散モデルとしてポリシーをモデル化する利点を示します。
トレーニング中に単一の制約またはスキルを条件付けると、テスト時に複数の制約を一緒に満たしたり、スキルの構成を実証したりできる動作が得られます。
私たちの結果は、条件付き生成モデリングが意思決定のための強力なツールであることを示しています。

要約(オリジナル)

Recent improvements in conditional generative modeling have made it possible to generate high-quality images from language descriptions alone. We investigate whether these methods can directly address the problem of sequential decision-making. We view decision-making not through the lens of reinforcement learning (RL), but rather through conditional generative modeling. To our surprise, we find that our formulation leads to policies that can outperform existing offline RL approaches across standard benchmarks. By modeling a policy as a return-conditional diffusion model, we illustrate how we may circumvent the need for dynamic programming and subsequently eliminate many of the complexities that come with traditional offline RL. We further demonstrate the advantages of modeling policies as conditional diffusion models by considering two other conditioning variables: constraints and skills. Conditioning on a single constraint or skill during training leads to behaviors at test-time that can satisfy several constraints together or demonstrate a composition of skills. Our results illustrate that conditional generative modeling is a powerful tool for decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google