Hybrid Internal Model: Learning Agile Legged Locomotion with Simulated Robot Response

要約

堅牢な移動制御は、正確な状態推定に依存します。
ただし、ほとんどの脚式ロボットのセンサーは部分的でノイズの多い観測しか提供できないため、特に地形の摩擦や標高マップなどの外部状態の推定は特に困難になります。
古典的な内部モデル制御原理に触発され、これらの外部状態を外乱と見なし、ロボットの応答に従って外部状態を推定するハイブリッド内部モデル (HIM) を導入します。
ハイブリッド内部埋め込みと呼ばれる応答には、ロボットの明示的な速度と暗黙的な安定性表現が含まれており、明示的な速度の追跡と暗黙的な安定性の維持という移動タスクの 2 つの主な目標に対応します。
対照学習を使用して、応答が自然に埋め込まれるロボットの後継状態に近づくように埋め込みを最適化します。
HIM にはいくつかの魅力的な利点があります。必要なのはロボットの固有受容、つまり観測としてのジョイント エンコーダーと IMU からの固有受容だけです。
シミュレーション参照と現実の間で一貫した観察を革新的に維持し、学習を模倣する際の情報損失を回避します。
ノイズに対してより堅牢なバッチレベルの情報を活用し、サンプル効率を向上させます。
RTX 4090 で 1 時間のトレーニングを行うだけで、四足ロボットがいかなる外乱の下でもあらゆる地形を横断できるようになります。
現実世界での豊富な実験により、高難易度のタスクやトレーニング プロセスでは決して発生しなかったケースであってもその俊敏性が実証され、オープンワールドの顕著な汎用性が明らかになりました。

要約(オリジナル)

Robust locomotion control depends on accurate state estimations. However, the sensors of most legged robots can only provide partial and noisy observations, making the estimation particularly challenging, especially for external states like terrain frictions and elevation maps. Inspired by the classical Internal Model Control principle, we consider these external states as disturbances and introduce Hybrid Internal Model (HIM) to estimate them according to the response of the robot. The response, which we refer to as the hybrid internal embedding, contains the robot’s explicit velocity and implicit stability representation, corresponding to two primary goals for locomotion tasks: explicitly tracking velocity and implicitly maintaining stability. We use contrastive learning to optimize the embedding to be close to the robot’s successor state, in which the response is naturally embedded. HIM has several appealing benefits: It only needs the robot’s proprioceptions, i.e., those from joint encoders and IMU as observations. It innovatively maintains consistent observations between simulation reference and reality that avoids information loss in mimicking learning. It exploits batch-level information that is more robust to noises and keeps better sample efficiency. It only requires 1 hour of training on an RTX 4090 to enable a quadruped robot to traverse any terrain under any disturbances. A wealth of real-world experiments demonstrates its agility, even in high-difficulty tasks and cases never occurred during the training process, revealing remarkable open-world generalizability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google