VMTS: Vision-Assisted Teacher-Student Reinforcement Learning for Multi-Terrain Locomotion in Bipedal Robots

要約

Bipedal Robotsは、擬人化された設計により、さまざまなアプリケーションでかなりの可能性を提供しますが、その制御は構造の複雑さによって妨げられています。
現在、ほとんどの研究は、複雑な地形を克服する能力を欠いている固有受容ベースの方法に焦点を当てています。
視覚的認識は人間中心の環境での動作に不可欠ですが、その統合は制御をさらに複雑にします。
最近の強化学習（RL）アプローチは、特に固有受容ベースの方法で、足のロボットの移動を強化することに有望であることを示しています。
ただし、特に二足歩行ロボットの地形適応性は、依然として大きな課題であり、ほとんどの研究は平坦な地形シナリオに焦点を当てています。
このペーパーでは、専門家の教師と学生のネットワークRL戦略の新しい混合物を紹介します。これは、シンプルで効果的なアプローチを通じて視覚入力に基づいて教師と学生のポリシーのパフォーマンスを向上させます。
私たちの方法は、地形の選択戦略と教師ポリシーを組み合わせて、従来のモデルと比較して優れたパフォーマンスをもたらします。
さらに、多様な地形をナビゲートする学生の能力を向上させるために、厳格な類似性を強制するのではなく、教師と生徒のネットワーク間にアライメント損失を導入します。
Limx Dynamic P1 Bipedal Robotでアプローチを実験的に検証し、複数の地形タイプにわたってその実現可能性と堅牢性を示しています。

要約(オリジナル)

Bipedal robots, due to their anthropomorphic design, offer substantial potential across various applications, yet their control is hindered by the complexity of their structure. Currently, most research focuses on proprioception-based methods, which lack the capability to overcome complex terrain. While visual perception is vital for operation in human-centric environments, its integration complicates control further. Recent reinforcement learning (RL) approaches have shown promise in enhancing legged robot locomotion, particularly with proprioception-based methods. However, terrain adaptability, especially for bipedal robots, remains a significant challenge, with most research focusing on flat-terrain scenarios. In this paper, we introduce a novel mixture of experts teacher-student network RL strategy, which enhances the performance of teacher-student policies based on visual inputs through a simple yet effective approach. Our method combines terrain selection strategies with the teacher policy, resulting in superior performance compared to traditional models. Additionally, we introduce an alignment loss between the teacher and student networks, rather than enforcing strict similarity, to improve the student’s ability to navigate diverse terrains. We validate our approach experimentally on the Limx Dynamic P1 bipedal robot, demonstrating its feasibility and robustness across multiple terrain types.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google