Neural Internal Model Control: Learning a Robust Control Policy via Predictive Error Feedback

要約

複雑な環境内の妨害に直面した正確なモーション制御は、ロボット工学の大きな課題のままです。
古典的なモデルベースのアプローチは、しばしば非線形性や構造化されていない乱れに苦労しますが、RLベースの方法は、目に見えないシナリオに遭遇すると脆弱です。
この論文では、モデルベースのコントロールをRLベースのコントロールと堅牢性を高める新しいフレームワークであるニューラル内部モデル制御を提案します。
私たちのフレームワークは、剛体のダイナミクスにニュートンエウラー方程式を適用し、複雑な高次元の非線形性をキャプチャする必要性を排除することにより、予測モデルを合理化します。
この内部モデルは、モデルフリーのRLアルゴリズムと予測エラーフィードバックを組み合わせています。
このような設計により、閉ループ制御構造が制御システムの堅牢性と一般化可能性を高めることができます。
四つ孔と四角形のロボットの両方でフレームワークの有効性を実証し、最先端の方法と比較して優れたパフォーマンスを実現します。
さらに、ロープ懸濁されたペイロードを備えた四肢装置への実際の展開は、SIMからリアルへの転送におけるフレームワークの堅牢性を強調しています。
私たちのコードはhttps://github.com/thu-uav/neuralimcでリリ​​ースされています。

要約(オリジナル)

Accurate motion control in the face of disturbances within complex environments remains a major challenge in robotics. Classical model-based approaches often struggle with nonlinearities and unstructured disturbances, while RL-based methods can be fragile when encountering unseen scenarios. In this paper, we propose a novel framework, Neural Internal Model Control, which integrates model-based control with RL-based control to enhance robustness. Our framework streamlines the predictive model by applying Newton-Euler equations for rigid-body dynamics, eliminating the need to capture complex high-dimensional nonlinearities. This internal model combines model-free RL algorithms with predictive error feedback. Such a design enables a closed-loop control structure to enhance the robustness and generalizability of the control system. We demonstrate the effectiveness of our framework on both quadrotors and quadrupedal robots, achieving superior performance compared to state-of-the-art methods. Furthermore, real-world deployment on a quadrotor with rope-suspended payloads highlights the framework’s robustness in sim-to-real transfer. Our code is released at https://github.com/thu-uav/NeuralIMC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google