Subspace-wise Hybrid RL for Articulated Object Manipulation

要約

多関節オブジェクトの操作は困難なタスクであり、操作されるオブジェクトの未知のダイナミクスを処理するために、制約された動きと適応制御が必要です。
強化学習 (RL) は、さまざまなシナリオや種類の多関節オブジェクトに取り組むために広く採用されていますが、複数の目的が絡み合っていることから生じるこれらのタスクの複雑さにより、タスク空間全体で制御ポリシーを学習することが非常に困難になっています。
この問題に対処するために、独立した目的に基づいて、分割されたタスク空間またはサブスペースごとにポリシーを学習するサブスペースワイズハイブリッド RL (SwRL) フレームワークを提案します。
このアプローチにより、適応力変調が可能になり、物体の未知のダイナミクスに対応できます。
さらに、これまで見過ごされていた冗長な部分空間を効果的に活用し、ロボットの器用さを最大限に高めます。
私たちの方法は、シミュレーションと現実世界の実験を通じて検証されたように、学習効率とタスク実行パフォーマンスの両方を向上させます。
補足ビデオは https://youtu.be/PkNxv0P8Atk でご覧いただけます。

要約(オリジナル)

Articulated object manipulation is a challenging task, requiring constrained motion and adaptive control to handle the unknown dynamics of the manipulated objects. While reinforcement learning (RL) has been widely employed to tackle various scenarios and types of articulated objects, the complexity of these tasks, stemming from multiple intertwined objectives makes learning a control policy in the full task space highly difficult. To address this issue, we propose a Subspace-wise hybrid RL (SwRL) framework that learns policies for each divided task space, or subspace, based on independent objectives. This approach enables adaptive force modulation to accommodate the unknown dynamics of objects. Additionally, it effectively leverages the previously underlooked redundant subspace, thereby maximizing the robot’s dexterity. Our method enhances both learning efficiency and task execution performance, as validated through simulations and real-world experiments. Supplementary video is available at https://youtu.be/PkNxv0P8Atk

arxiv情報

提供元, 利用サービス

arxiv.jp, Google