Neural Lyapunov Function Approximation with Self-Supervised Reinforcement Learning

要約

制御lyapunov関数は、従来、希望の状態への収束を保証するコントローラーを設計するために伝統的に使用されていますが、非線形システムのこれらの機能を導き出すことは複雑な課題のままです。
この論文では、非線形リアプノフ関数の神経近似のための新しいサンプル効率の高い方法を紹介します。特に、トレーニングデータ生成を強化して、特に国家空間の不正確に代表される領域のために、自己監視補強学習（RL）を活用します。
提案されているアプローチは、データ駆動型の世界モデルを採用して、ポリック外の軌跡からリアプノフ機能を訓練します。
この方法は、標準および目標条件の両方のロボットタスクの両方で検証され、最先端の神経リアプノフ近似ベースラインと比較して、より速い収束と近似精度が高いことを示しています。
このコードは、https：//github.com/cav-research-lab/sacla.gitで入手できます

要約(オリジナル)

Control Lyapunov functions are traditionally used to design a controller which ensures convergence to a desired state, yet deriving these functions for nonlinear systems remains a complex challenge. This paper presents a novel, sample-efficient method for neural approximation of nonlinear Lyapunov functions, leveraging self-supervised Reinforcement Learning (RL) to enhance training data generation, particularly for inaccurately represented regions of the state space. The proposed approach employs a data-driven World Model to train Lyapunov functions from off-policy trajectories. The method is validated on both standard and goal-conditioned robotic tasks, demonstrating faster convergence and higher approximation accuracy compared to the state-of-the-art neural Lyapunov approximation baseline. The code is available at: https://github.com/CAV-Research-Lab/SACLA.git

arxiv情報

提供元, 利用サービス

arxiv.jp, Google