DexCtrl: Towards Sim-to-Real Dexterity with Adaptive Controller Learning

要約

器用な操作は近年目覚ましい進歩を遂げており、複雑で接触が多い多くのタスクをシミュレーションで実行することができるようになった。しかし、これらのポリシーをシミュレーションから実世界に移植することは、依然として大きな課題である。重要な問題の1つは、低レベルコントローラダイナミクスのミスマッチであり、制御パラメータが変化すると、同じ軌道でも接触力や挙動が大きく異なることがあります。既存のアプローチでは、手動チューニングやコントローラのランダム化に頼ることが多く、手間がかかり、タスクに依存し、トレーニングに大きな困難が伴います。本研究では、軌道とコントローラの両方の履歴情報に基づいて、動作とコントローラパラメータを共同で学習するフレームワークを提案する。この適応的なコントローラ調整メカニズムにより、ポリシーが実行中に制御パラメータを自動的に調整することが可能となり、大規模な手動調整や過度のランダム化を行うことなく、シムとリアルのギャップを緩和することができる。さらに、コントローラパラメータを観測の一部として明示的に提供することで、我々のアプローチは力の相互作用に関するより良い推論を容易にし、実世界のシナリオにおける頑健性を向上させる。実験結果は、我々の手法が、変化する力条件を含む様々な器用なタスクにおいて、伝達性能の向上を達成することを示している。

要約(オリジナル)

Dexterous manipulation has seen remarkable progress in recent years, with policies capable of executing many complex and contact-rich tasks in simulation. However, transferring these policies from simulation to real world remains a significant challenge. One important issue is the mismatch in low-level controller dynamics, where identical trajectories can lead to vastly different contact forces and behaviors when control parameters vary. Existing approaches often rely on manual tuning or controller randomization, which can be labor-intensive, task-specific, and introduce significant training difficulty. In this work, we propose a framework that jointly learns actions and controller parameters based on the historical information of both trajectory and controller. This adaptive controller adjustment mechanism allows the policy to automatically tune control parameters during execution, thereby mitigating the sim-to-real gap without extensive manual tuning or excessive randomization. Moreover, by explicitly providing controller parameters as part of the observation, our approach facilitates better reasoning over force interactions and improves robustness in real-world scenarios. Experimental results demonstrate that our method achieves improved transfer performance across a variety of dexterous tasks involving variable force conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL