Adaptive Diffusion Policy Optimization for Robotic Manipulation

要約

最近の研究では、複雑なポリシーをモデル化し、高度なマルチモダリティを表現し、高次元の連続制御タスクを効率的に処理することにより、補強学習（RL）の改善における拡散モデルの大きな可能性が示されています。
ただし、現在、拡散ベースのポリス（拡散ポリシーなど）を迅速かつ安定させる方法に関する研究は限られています。
この論文では、RLの適応勾配降下法を使用したロボット制御タスクの微調整拡散ベースのポリスのベストプラクティスを含む高速なアルゴリズムフレームワークであるAdamベースの拡散ポリシー最適化（ADPO）を提案します。
拡散ベースのポリシーは言うまでもなく、適応勾配法はRLのトレーニングであまり研究されていません。
ADPOは、標準的なロボットタスクに対する微調整の全体的な有効性の観点から、他の拡散ベースのRLメソッドを上回ることを確認します。
具体的には、ADPOをテストするために標準のロボット制御タスクに関する広範な実験を実施します。特に、6つの一般的な拡散ベースのRLメソッドがベンチマークメソッドとして提供されます。
実験結果は、ADPOがベースラインメソッドよりも優れたパフォーマンスまたは同等のパフォーマンスを取得することを示しています。
最後に、標準のロボットタスクにおける複数のハイパーパラメーターの感度を体系的に分析し、その後の実用的なアプリケーションのガイダンスを提供します。
私たちのビデオデモンストレーションは、https：//github.com/timeless-lab/adpo.gitでリリースされます。

要約(オリジナル)

Recent studies have shown the great potential of diffusion models in improving reinforcement learning (RL) by modeling complex policies, expressing a high degree of multi-modality, and efficiently handling high-dimensional continuous control tasks. However, there is currently limited research on how to optimize diffusion-based polices (e.g., Diffusion Policy) fast and stably. In this paper, we propose an Adam-based Diffusion Policy Optimization (ADPO), a fast algorithmic framework containing best practices for fine-tuning diffusion-based polices in robotic control tasks using the adaptive gradient descent method in RL. Adaptive gradient method is less studied in training RL, let alone diffusion-based policies. We confirm that ADPO outperforms other diffusion-based RL methods in terms of overall effectiveness for fine-tuning on standard robotic tasks. Concretely, we conduct extensive experiments on standard robotic control tasks to test ADPO, where, particularly, six popular diffusion-based RL methods are provided as benchmark methods. Experimental results show that ADPO acquires better or comparable performance than the baseline methods. Finally, we systematically analyze the sensitivity of multiple hyperparameters in standard robotics tasks, providing guidance for subsequent practical applications. Our video demonstrations are released in https://github.com/Timeless-lab/ADPO.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google