Fine-tuning Diffusion Policies with Backpropagation Through Diffusion Timesteps

要約

ロボット工学、ゲーム、自律運転などの意思決定シナリオで広く採用されている拡散ポリシーは、高い表現力のためにデモデータから多様なスキルを学ぶことができます。
ただし、デモデータの最適下および限られたカバレッジは、拡散ポリシーにつながる可能性があり、拡散ポリシーが拡散軌跡や壊滅的な障害を生成することさえあります。
補強学習（RL）ベースの微調整は、これらの制限に対処する有望なソリューションとして浮上していますが、既存のアプローチは、近位政策最適化（PPO）を拡散モデルに効果的に適応させるのに苦労しています。
この課題は、除去プロセス中のアクション尤度推定の計算上の扱いやすさに起因し、複雑な最適化目標につながります。
ランダムに初期化されたポリシーから始まる実験では、拡散ポリシーのオンラインチューニングは、MLPポリシー（MLP+PPO）にPPOを直接適用することと比較して、はるかに低いサンプル効率を示していることがわかります。
これらの課題に対処するために、拡散ポリシーをノイズコンディショニングされた決定論的ポリシーとして再定式化する新しいフレームワークであるNCDPOを紹介します。
NCDPOは、各サンプリングノイズを条件付けした微分可能な変換として各除去ステップを扱うことにより、すべての拡散タイムステップを介して、扱いやすい尤度評価と勾配バックプロパゲーションを可能にします。
我々の実験は、NCDPOがゼロからトレーニングするときにMLP+PPOに匹敵するサンプル効率を達成し、継続的なロボットコントロールやマルチエージェントゲームシナリオなど、さまざまなベンチマーク全体でサンプル効率と最終パフォーマンスの両方で既存の方法を上回ることを示しています。
さらに、実験結果は、拡散ポリシーのタイムステップを除去する数にこの方法が堅牢であることを示しています。

要約(オリジナル)

Diffusion policies, widely adopted in decision-making scenarios such as robotics, gaming and autonomous driving, are capable of learning diverse skills from demonstration data due to their high representation power. However, the sub-optimal and limited coverage of demonstration data could lead to diffusion policies that generate sub-optimal trajectories and even catastrophic failures. While reinforcement learning (RL)-based fine-tuning has emerged as a promising solution to address these limitations, existing approaches struggle to effectively adapt Proximal Policy Optimization (PPO) to diffusion models. This challenge stems from the computational intractability of action likelihood estimation during the denoising process, which leads to complicated optimization objectives. In our experiments starting from randomly initialized policies, we find that online tuning of Diffusion Policies demonstrates much lower sample efficiency compared to directly applying PPO on MLP policies (MLP+PPO). To address these challenges, we introduce NCDPO, a novel framework that reformulates Diffusion Policy as a noise-conditioned deterministic policy. By treating each denoising step as a differentiable transformation conditioned on pre-sampled noise, NCDPO enables tractable likelihood evaluation and gradient backpropagation through all diffusion timesteps. Our experiments demonstrate that NCDPO achieves sample efficiency comparable to MLP+PPO when training from scratch, outperforming existing methods in both sample efficiency and final performance across diverse benchmarks, including continuous robot control and multi-agent game scenarios. Furthermore, our experimental results show that our method is robust to the number denoising timesteps in the Diffusion Policy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google