Mamba Policy: Towards Efficient 3D Diffusion Policy with Hybrid Selective State Models

要約

拡散モデルは、分布を学習する効率的な機能により 3D 操作の分野で広く採用されており、アクションの軌跡を正確に予測できます。
ただし、拡散モデルは通常、ポリシー ネットワークとして大きなパラメータの UNet バックボーンに依存しているため、リソースに制約のあるデバイスに展開するのは困難な場合があります。
最近、Mamba モデルが効率的なモデリングのための有望なソリューションとして浮上し、シーケンス モデリングにおいて計算の複雑さが低く、強力なパフォーマンスを提供します。
この作業では、優れたパフォーマンスを達成しながら、元のポリシー ネットワークと比較してパラメータ数を 80% 以上削減する、軽量かつ強力なポリシーである Mamba ポリシーを提案します。
具体的には、入力情報を条件付き特徴と効果的に統合し、Mamba とアテンション メカニズムの組み合わせを活用して詳細な特徴を抽出する XMamba ブロックを紹介します。
広範な実験により、Mamba ポリシーが Adroit、Dexart、および MetaWorld データセットで優れており、必要な計算リソースが大幅に少ないことが実証されました。
さらに、ベースライン手法と比較して長期シナリオにおける Mamba ポリシーの強化された堅牢性を強調し、Mamba ポリシー フレームワーク内のさまざまな Mamba バリアントのパフォーマンスを調査します。
私たちのプロジェクトページは https://andycao1125.github.io/mamba_policy/ にあります。

要約(オリジナル)

Diffusion models have been widely employed in the field of 3D manipulation due to their efficient capability to learn distributions, allowing for precise prediction of action trajectories. However, diffusion models typically rely on large parameter UNet backbones as policy networks, which can be challenging to deploy on resource-constrained devices. Recently, the Mamba model has emerged as a promising solution for efficient modeling, offering low computational complexity and strong performance in sequence modeling. In this work, we propose the Mamba Policy, a lighter but stronger policy that reduces the parameter count by over 80% compared to the original policy network while achieving superior performance. Specifically, we introduce the XMamba Block, which effectively integrates input information with conditional features and leverages a combination of Mamba and Attention mechanisms for deep feature extraction. Extensive experiments demonstrate that the Mamba Policy excels on the Adroit, Dexart, and MetaWorld datasets, requiring significantly fewer computational resources. Additionally, we highlight the Mamba Policy’s enhanced robustness in long-horizon scenarios compared to baseline methods and explore the performance of various Mamba variants within the Mamba Policy framework. Our project page is in https://andycao1125.github.io/mamba_policy/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google