One-Step Diffusion Policy: Fast Visuomotor Policies via Diffusion Distillation

要約

生成タスクでの成功で賞賛された拡散モデルは、ロボット工学への適用が増えており、動作の複製において優れたパフォーマンスを示しています。
ただし、反復的なノイズ除去ステップに起因する遅い生成プロセスは、リソースに制約のあるロボット設定や動的に変化する環境におけるリアルタイム アプリケーションにとって課題となります。
このペーパーでは、事前トレーニングされた拡散ポリシーからの知識を単一ステップのアクション ジェネレーターに抽出し、ロボット制御タスクの応答時間を大幅に短縮する新しいアプローチであるワンステップ拡散ポリシー (OneDP) を紹介します。
拡散チェーンに沿ったカルバック ライブラー (KL) 発散を最小限に抑えることで、蒸留されたジェネレーターが元のポリシー分布と厳密に一致することを保証し、収束に必要な追加の事前トレーニング コストは $2\%$-$10\%$ だけです。
私たちは、Franka ロボットを使用して 6 つの困難なシミュレーション タスクと、自己設計した 4 つの現実世界タスクで OneDP を評価しました。
結果は、OneDP が最先端の成功率を達成するだけでなく、推論速度の桁違いの向上を実現し、アクション予測周波数を 1.5 Hz から 62 Hz に高め、動的で計算上の制約のある用途にも対応できる可能性を確立していることを示しています。
ロボットアプリケーション。
プロジェクト ページは https://research.nvidia.com/labs/dir/onedp/ で共有されています。

要約(オリジナル)

Diffusion models, praised for their success in generative tasks, are increasingly being applied to robotics, demonstrating exceptional performance in behavior cloning. However, their slow generation process stemming from iterative denoising steps poses a challenge for real-time applications in resource-constrained robotics setups and dynamically changing environments. In this paper, we introduce the One-Step Diffusion Policy (OneDP), a novel approach that distills knowledge from pre-trained diffusion policies into a single-step action generator, significantly accelerating response times for robotic control tasks. We ensure the distilled generator closely aligns with the original policy distribution by minimizing the Kullback-Leibler (KL) divergence along the diffusion chain, requiring only $2\%$-$10\%$ additional pre-training cost for convergence. We evaluated OneDP on 6 challenging simulation tasks as well as 4 self-designed real-world tasks using the Franka robot. The results demonstrate that OneDP not only achieves state-of-the-art success rates but also delivers an order-of-magnitude improvement in inference speed, boosting action prediction frequency from 1.5 Hz to 62 Hz, establishing its potential for dynamic and computationally constrained robotic applications. We share the project page at https://research.nvidia.com/labs/dir/onedp/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google