Spectral Normalization for Lipschitz-Constrained Policies on Learning Humanoid Locomotion

要約

強化学習（RL）は、脚のあるロボットのアジャイルで適応性のあるコントローラーをトレーニングすることで大きな可能性を示しており、経験から直接複雑な移動行動を学ぶことができます。
ただし、シミュレーションで訓練されたポリシーは、無限のアクチュエータ帯域幅やトルク制限がないなどの非現実的な仮定のために、実際のロボットに転送できないことがよくあります。
これらの条件により、ポリシーは急激な高周波トルクの変化に依存することができます。これは、有限帯域幅を持つ実際のアクチュエーターにとっては実行不可能です。
従来の方法は、関節の速度、加速、エネルギー消費などの正則化の報酬を通じて攻撃的な動きを罰することにより、この問題に対処しますが、広範なハイパーパラメーターチューニングが必要です。
あるいは、Lipschitz-Constraended Policies（LCP）は、ポリシーの勾配を罰することにより有限帯域幅のアクション制御を実施しますが、勾配計算への依存は重要なGPUメモリオーバーヘッドを導入します。
この制限を克服するために、この作業は、Lipschitzの連続性を実施するための効率的な代替品として、スペクトル正規化（SN）を提案しています。
ネットワークの重みのスペクトル規範を制約することにより、SNはGPUメモリの使用量を大幅に削減しながら、高周波ポリシーの変動を効果的に制限します。
シミュレーションと現実世界のヒューマノイドロボットの両方の実験的評価は、SNがグラデーションペナルティ方法に匹敵するパフォーマンスを達成し、より効率的な並列トレーニングを可能にすることを示しています。

要約(オリジナル)

Reinforcement learning (RL) has shown great potential in training agile and adaptable controllers for legged robots, enabling them to learn complex locomotion behaviors directly from experience. However, policies trained in simulation often fail to transfer to real-world robots due to unrealistic assumptions such as infinite actuator bandwidth and the absence of torque limits. These conditions allow policies to rely on abrupt, high-frequency torque changes, which are infeasible for real actuators with finite bandwidth. Traditional methods address this issue by penalizing aggressive motions through regularization rewards, such as joint velocities, accelerations, and energy consumption, but they require extensive hyperparameter tuning. Alternatively, Lipschitz-Constrained Policies (LCP) enforce finite bandwidth action control by penalizing policy gradients, but their reliance on gradient calculations introduces significant GPU memory overhead. To overcome this limitation, this work proposes Spectral Normalization (SN) as an efficient replacement for enforcing Lipschitz continuity. By constraining the spectral norm of network weights, SN effectively limits high-frequency policy fluctuations while significantly reducing GPU memory usage. Experimental evaluations in both simulation and real-world humanoid robot show that SN achieves performance comparable to gradient penalty methods while enabling more efficient parallel training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google