Neural Internal Model Control: Learning a Robust Control Policy via Predictive Error Feedback

要約

複雑な環境内で外乱に直面した場合の正確な動作制御は、ロボット工学における大きな課題のままです。
古典的なモデルベースのアプローチは非線形性や非構造化外乱に苦戦することがよくありますが、RL ベースの手法は目に見えないシナリオに遭遇すると脆弱になる可能性があります。
この論文では、モデルベースの制御と RL ベースの制御を統合してロバスト性を強化する新しいフレームワーク Neural Internal Model Control を提案します。
私たちのフレームワークは、剛体力学にニュートン・オイラー方程式を適用することで予測モデルを合理化し、複雑な高次元の非線形性を捉える必要性を排除します。
この内部モデルは、モデルフリー RL アルゴリズムと予測エラー フィードバックを組み合わせたものです。
このような設計により、閉ループ制御構造が制御システムの堅牢性と汎用性を向上させることができます。
私たちは、クワッドローターと四足歩行ロボットの両方でフレームワークの有効性を実証し、最先端の方法と比較して優れたパフォーマンスを実現します。
さらに、ロープで吊り下げられたペイロードを備えたクアッドローター上での実際の展開は、シミュレーションからリアルへの転送におけるフレームワークの堅牢性を強調しています。
私たちのコードは https://github.com/thu-uav/NeuralIMC でリリースされています。

要約(オリジナル)

Accurate motion control in the face of disturbances within complex environments remains a major challenge in robotics. Classical model-based approaches often struggle with nonlinearities and unstructured disturbances, while RL-based methods can be fragile when encountering unseen scenarios. In this paper, we propose a novel framework, Neural Internal Model Control, which integrates model-based control with RL-based control to enhance robustness. Our framework streamlines the predictive model by applying Newton-Euler equations for rigid-body dynamics, eliminating the need to capture complex high-dimensional nonlinearities. This internal model combines model-free RL algorithms with predictive error feedback. Such a design enables a closed-loop control structure to enhance the robustness and generalizability of the control system. We demonstrate the effectiveness of our framework on both quadrotors and quadrupedal robots, achieving superior performance compared to state-of-the-art methods. Furthermore, real-world deployment on a quadrotor with rope-suspended payloads highlights the framework’s robustness in sim-to-real transfer. Our code is released at https://github.com/thu-uav/NeuralIMC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google