ManiCM: Real-time 3D Diffusion Policy via Consistency Model for Robotic Manipulation

要約

拡散モデルは、自然な画像から運動軌道への複雑な分布を生成するのに効果的であることが検証されています。
最近の拡散ベースの方法は、3Dロボット操作タスクで印象的なパフォーマンスを示していますが、特に高次元の観察では、複数の除去ステップによる重度のランタイム非効率性に苦しんでいます。
この目的のために、モデルが1段階の推論のみでロボットアクションを生成できるように、拡散プロセスに一貫性の制約を課すマニックという名前のリアルタイムロボット操作モデルを提案します。
具体的には、ポイントクラウド入力を条件とするロボットアクションスペースに一貫した拡散プロセスを策定します。ここでは、オードの軌跡に沿った任意のポイントから直接除去する必要があります。
このプロセスをモデル化するために、一貫性蒸留技術を設計して、低次元アクションマニホールドでの高速収束のためにビジョンコミュニティ内のノイズを予測する代わりに、アクションサンプルを直接予測します。
AdroitとMetaworldからの31のロボット操作タスクでManicmを評価します。結果は、競争力のある平均成功率を維持しながら、私たちのアプローチが平均推論速度で最先端の方法を10倍加速することを示しています。

要約(オリジナル)

Diffusion models have been verified to be effective in generating complex distributions from natural images to motion trajectories. Recent diffusion-based methods show impressive performance in 3D robotic manipulation tasks, whereas they suffer from severe runtime inefficiency due to multiple denoising steps, especially with high-dimensional observations. To this end, we propose a real-time robotic manipulation model named ManiCM that imposes the consistency constraint to the diffusion process, so that the model can generate robot actions in only one-step inference. Specifically, we formulate a consistent diffusion process in the robot action space conditioned on the point cloud input, where the original action is required to be directly denoised from any point along the ODE trajectory. To model this process, we design a consistency distillation technique to predict the action sample directly instead of predicting the noise within the vision community for fast convergence in the low-dimensional action manifold. We evaluate ManiCM on 31 robotic manipulation tasks from Adroit and Metaworld, and the results demonstrate that our approach accelerates the state-of-the-art method by 10 times in average inference speed while maintaining competitive average success rate.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google