Diffusion Models as Optimizers for Efficient Planning in Offline RL

要約

拡散モデルは、意思決定を逐次生成として定式化することにより、オフラインの強化学習タスクにおいて強力な競争力を示しています。
ただし、これらの方法の実用性は、必要な推論プロセスに時間がかかるため制限されます。
この論文では、拡散モデルのサンプリング プロセスを 2 つの分離されたサブプロセスに分解することで、この問題に対処します。1) 時間のかかるプロセスである実現可能な軌道の生成と、2) 軌道の最適化です。
この分解アプローチにより、効率と品質の要素を部分的に分離することができ、効率の利点と品質保証を同時に実現できるようになります。
我々は、より高速な自己回帰モデルを利用して、拡散モデルの軌道最適化プロセスを保持しながら、実現可能な軌道の生成を処理する軌道ディフューザーを提案します。
これにより、機能を犠牲にすることなく、より効率的な計画を達成できるようになります。
Trajectory Diffuser の有効性と効率を評価するために、D4RL ベンチマークで実験を実施します。
結果は、私たちの方法が以前のシーケンス モデリング方法と比較して $\it 3$-$\it 10 \倍$ 速い推論速度を達成し、全体的なパフォーマンスの点でもそれらを上回っていることを示しています。
https://github.com/RenMing-Huang/TrajectoryDiffuser キーワード: 強化学習と効率的な計画と普及モデル

要約(オリジナル)

Diffusion models have shown strong competitiveness in offline reinforcement learning tasks by formulating decision-making as sequential generation. However, the practicality of these methods is limited due to the lengthy inference processes they require. In this paper, we address this problem by decomposing the sampling process of diffusion models into two decoupled subprocesses: 1) generating a feasible trajectory, which is a time-consuming process, and 2) optimizing the trajectory. With this decomposition approach, we are able to partially separate efficiency and quality factors, enabling us to simultaneously gain efficiency advantages and ensure quality assurance. We propose the Trajectory Diffuser, which utilizes a faster autoregressive model to handle the generation of feasible trajectories while retaining the trajectory optimization process of diffusion models. This allows us to achieve more efficient planning without sacrificing capability. To evaluate the effectiveness and efficiency of the Trajectory Diffuser, we conduct experiments on the D4RL benchmarks. The results demonstrate that our method achieves $\it 3$-$\it 10 \times$ faster inference speed compared to previous sequence modeling methods, while also outperforming them in terms of overall performance. https://github.com/RenMing-Huang/TrajectoryDiffuser Keywords: Reinforcement Learning and Efficient Planning and Diffusion Model

arxiv情報

提供元, 利用サービス

arxiv.jp, Google