Forward KL Regularized Preference Optimization for Aligning Diffusion Policies

要約

拡散モデルは、政策学習において高度に表現力豊かなモデル機能を活用することで、逐次的な意思決定において目覚ましい成功を収めています。
普及政策を学習する際の中心的な問題は、政策の出力をさまざまなタスクにおける人間の意図と一致させることです。
これを達成するために、以前の方法は、リターン条件付きポリシー生成または強化学習 (RL) ベースのポリシー最適化を実行しますが、どちらも事前定義された報酬関数に依存しています。
この研究では、拡散ポリシーをプリファレンスに直接調整するための、拡散ポリシーを調整するための Forward KL 正則化プリファレンス最適化という新しいフレームワークを提案します。
まず、選好を考慮せずにオフライン データセットから拡散ポリシーをトレーニングし、次に直接選好最適化を通じてポリシーを選好データに合わせます。
調整フェーズでは、拡散ポリシーで直接優先学習を定式化します。この場合、順方向 KL 正則化が優先最適化に採用され、分布外のアクションの生成が回避されます。
私たちは、MetaWorld 操作と D4RL タスクについて広範な実験を行っています。
結果は、私たちの方法が好みとの優れた整合性を示し、以前の最先端のアルゴリズムを上回るパフォーマンスを示していることを示しています。

要約(オリジナル)

Diffusion models have achieved remarkable success in sequential decision-making by leveraging the highly expressive model capabilities in policy learning. A central problem for learning diffusion policies is to align the policy output with human intents in various tasks. To achieve this, previous methods conduct return-conditioned policy generation or Reinforcement Learning (RL)-based policy optimization, while they both rely on pre-defined reward functions. In this work, we propose a novel framework, Forward KL regularized Preference optimization for aligning Diffusion policies, to align the diffusion policy with preferences directly. We first train a diffusion policy from the offline dataset without considering the preference, and then align the policy to the preference data via direct preference optimization. During the alignment phase, we formulate direct preference learning in a diffusion policy, where the forward KL regularization is employed in preference optimization to avoid generating out-of-distribution actions. We conduct extensive experiments for MetaWorld manipulation and D4RL tasks. The results show our method exhibits superior alignment with preferences and outperforms previous state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google