Diffusion Predictive Control with Constraints

要約

拡散モデルは、高次元で多峰性の分布を捕捉できるため、ロボット工学におけるポリシー学習で最近人気が高まっています。
ただし、拡散ポリシーは本質的に確率的であり、通常はオフラインでトレーニングされるため、トレーニング データに表されていない新しい制約を満たす必要がある目に見えない動的な条件を処理する能力が制限されます。
この制限を克服するために、我々は制約付き拡散予測制御 (DPCC) を提案します。これは、トレーニング データの制約から逸脱する可能性のある明示的な状態制約とアクション制約を備えた拡散ベースの制御アルゴリズムです。
DPCC は制約強化を使用し、トレーニングされた軌道拡散モデルのノイズ除去プロセスにモデルベースの投影を組み込みます。
これにより、制約を満たし、動的に実現可能で、目標に到達する予測制御の軌道を生成できます。
ロボットマニピュレータのシミュレーションを通じて、学習した制御タスクのパフォーマンスを維持しながら、新しいテスト時間の制約を満たす点でDPCCが既存の方法よりも優れていることを示します。

要約(オリジナル)

Diffusion models have recently gained popularity for policy learning in robotics due to their ability to capture high-dimensional and multimodal distributions. However, diffusion policies are inherently stochastic and typically trained offline, limiting their ability to handle unseen and dynamic conditions where novel constraints not represented in the training data must be satisfied. To overcome this limitation, we propose diffusion predictive control with constraints (DPCC), an algorithm for diffusion-based control with explicit state and action constraints that can deviate from those in the training data. DPCC uses constraint tightening and incorporates model-based projections into the denoising process of a trained trajectory diffusion model. This allows us to generate constraint-satisfying, dynamically feasible, and goal-reaching trajectories for predictive control. We show through simulations of a robot manipulator that DPCC outperforms existing methods in satisfying novel test-time constraints while maintaining performance on the learned control task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google