Enabling Stateful Behaviors for Diffusion-based Policy Learning

要約

模倣学習はポリシー学習のためのシンプルで効果的なフレームワークを提供しますが、ロボットの実行中に一貫したアクションを取得することは依然として困難な課題です。
既存のアプローチは主に、データキュレーション段階でアクション表現を変更するか、モデル自体を変更することに焦点を当てていますが、どちらも一貫したアクション生成のスケーラビリティに完全には対応していません。
この制限を克服するために、拡散ベースのモデルを利用して状態空間モデリングの観点からアクション表現を学習する Diff-Control ポリシーを導入します。
ControlNet によって促進されるベイズ定式化を通じてステートフルにすることで、拡散ベースのポリシーの不確実性を軽減し、堅牢性と成功率の向上につながることを実証します。
私たちの実験結果は、ポリシー学習にアクションのステートフルネスを組み込むことの重要性を示しており、Diff-Control はさまざまなタスクにわたってパフォーマンスの向上を示しています。
具体的には、Diff-Control はステートフル タスクと動的タスクでそれぞれ 72% と 84% の平均成功率を達成しています。
プロジェクトページ: https://github.com/ir-lab/Diff-Control

要約(オリジナル)

While imitation learning provides a simple and effective framework for policy learning, acquiring consistent actions during robot execution remains a challenging task. Existing approaches primarily focus on either modifying the action representation at data curation stage or altering the model itself, both of which do not fully address the scalability of consistent action generation. To overcome this limitation, we introduce the Diff-Control policy, which utilizes a diffusion-based model to learn the action representation from a state-space modeling viewpoint. We demonstrate that we can reduce diffusion-based policies’ uncertainty by making it stateful through a Bayesian formulation facilitated by ControlNet, leading to improved robustness and success rates. Our experimental results demonstrate the significance of incorporating action statefulness in policy learning, where Diff-Control shows improved performance across various tasks. Specifically, Diff-Control achieves an average success rate of 72% and 84% on stateful and dynamic tasks, respectively. Project page: https://github.com/ir-lab/Diff-Control

arxiv情報

提供元, 利用サービス

arxiv.jp, Google