Don’t Start from Scratch: Behavioral Refinement via Interpolant-based Policy Diffusion

要約

模倣学習により、人工エージェントはデモンストレーションから学習して行動を模倣できるようになります。
最近、高次元の多峰性分布をモデル化する機能を備えた拡散モデルが、模倣学習タスクで優れたパフォーマンスを示しています。
これらのモデルは、標準的なガウス ノイズからアクション (または状態) を拡散することによってポリシーを形成することを学習します。
ただし、学習するターゲット ポリシーはガウスとは大きく異なることが多く、この不一致により、（推論速度を向上させるため）少数の拡散ステップを使用し、限られたデータの下でパフォーマンスが低下する可能性があります。
この研究における重要なアイデアは、ガウスよりも有益な情報源から開始することで、拡散手法で上記の制限を軽減できるということです。
私たちは、理論的結果、新しい方法、および情報源ポリシーを使用する利点を示す経験的発見の両方を提供します。
BRIDGER と呼ばれる私たちの方法は、確率的補間フレームワークを利用して任意のポリシーを橋渡しするため、模倣学習に対する柔軟なアプローチが可能になります。
これは、標準のガウス分布を引き続き適用できますが、利用可能な場合は他のソース ポリシーも使用できるという点で、以前の作業を一般化します。
困難なシミュレーション ベンチマークや実際のロボットを使った実験では、BRIDGER は最先端の普及政策を上回りました。
BRIDGER を適用する際の設計上の考慮事項について、さらに詳しい分析を提供します。
BRIDGER のコードは https://github.com/clear-nus/bridger で入手できます。

要約(オリジナル)

Imitation learning empowers artificial agents to mimic behavior by learning from demonstrations. Recently, diffusion models, which have the ability to model high-dimensional and multimodal distributions, have shown impressive performance on imitation learning tasks. These models learn to shape a policy by diffusing actions (or states) from standard Gaussian noise. However, the target policy to be learned is often significantly different from Gaussian and this mismatch can result in poor performance when using a small number of diffusion steps (to improve inference speed) and under limited data. The key idea in this work is that initiating from a more informative source than Gaussian enables diffusion methods to mitigate the above limitations. We contribute both theoretical results, a new method, and empirical findings that show the benefits of using an informative source policy. Our method, which we call BRIDGER, leverages the stochastic interpolants framework to bridge arbitrary policies, thus enabling a flexible approach towards imitation learning. It generalizes prior work in that standard Gaussians can still be applied, but other source policies can be used if available. In experiments on challenging simulation benchmarks and on real robots, BRIDGER outperforms state-of-the-art diffusion policies. We provide further analysis on design considerations when applying BRIDGER. Code for BRIDGER is available at https://github.com/clear-nus/bridger.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google