MAGIC-VFM: Meta-learning Adaptation for Ground Interaction Control with Visual Foundation Models

要約

オフロード車両の制御は、地形との複雑な動的相互作用により困難を伴います。
これらの相互作用を正確にモデリングすることは、運転パフォーマンスを最適化するために重要ですが、関連する物理現象は第一原理からモデル化するには複雑すぎます。
したがって、我々は、残留ダイナミクスと外乱の迅速に調整可能なモデルを構築するためのオフライン メタ学習アルゴリズムを提案します。
私たちのモデルは、ビジュアル ファンデーション モデル (VFM) を使用して地形画像を処理してフィーチャにし、ディープ ニューラル ネットワーク (DNN) を使用してこれらのフィーチャと車両の状態を現在の作動マトリックスの推定値にマッピングします。
次に、このモデルを複合適応制御と組み合わせて、DNN の最後の層をリアルタイムで変更し、オフライン トレーニング中にキャプチャされなかった残りの地形インタラクションを考慮します。
私たちは、コントローラーの安定性と堅牢性の数学的保証を提供し、無限軌道車両と自動車のようなロボットを使用したシミュレーションとハードウェア実験を通じて、この方法の有効性を実証します。
さまざまな滑りやアクチュエータの劣化による外乱がある屋外のさまざまな斜面でこの方法を評価し、VFM 地形機能を使用しない適応コントローラーと比較します。
ハードウェア実験とシミュレーションの両方で、ベースラインと比較して大幅な改善が見られました。

要約(オリジナル)

Control of off-road vehicles is challenging due to the complex dynamic interactions with the terrain. Accurate modeling of these interactions is important to optimize driving performance, but the relevant physical phenomena are too complex to model from first principles. Therefore, we present an offline meta-learning algorithm to construct a rapidly-tunable model of residual dynamics and disturbances. Our model processes terrain images into features using a visual foundation model (VFM), then maps these features and the vehicle state to an estimate of the current actuation matrix using a deep neural network (DNN). We then combine this model with composite adaptive control to modify the last layer of the DNN in real time, accounting for the remaining terrain interactions not captured during offline training. We provide mathematical guarantees of stability and robustness for our controller and demonstrate the effectiveness of our method through simulations and hardware experiments with a tracked vehicle and a car-like robot. We evaluate our method outdoors on different slopes with varying slippage and actuator degradation disturbances, and compare against an adaptive controller that does not use the VFM terrain features. We show significant improvement over the baseline in both hardware experimentation and simulation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google