OCCAM: Online Continuous Controller Adaptation with Meta-Learned Models

要約

制御の調整と適応は、さまざまな環境でロボットを使用する場合に大きな課題となります。
多くの場合、ロボットが遭遇する可能性のある幅広い環境や条件にわたって適切に機能する単一の制御パラメーター セットを手動で見つけるのは簡単ではありません。
自動適応アプローチでは、新しい制御パラメータを迅速に見つけるために、大幅なドメインの変化に適応しながら、システムに関する事前の知識を利用する必要があります。
この研究では、これらの課題に対処するオンライン コントローラー適応のための一般的なフレームワークを紹介します。
メタ学習とベイジアン再帰推定を組み合わせて、ドメインの大幅なシフトがある場合でもオンライン データに迅速に適応するシステム パフォーマンスの事前予測モデルを学習します。
これらの予測モデルは、システムのパフォーマンスを最大化する新しい制御パラメータをオンラインで見つけるための効率的なサンプリングベースの最適化ルーチン内のコスト関数として使用できます。
私たちのフレームワークは、シミュレートされたレースカー、シミュレートされた四足歩行ロボット、シミュレートされた物理的なクワッドローターという 4 つの多様なシステムにコントローラーを適合させるのに十分な強力さと柔軟性を備えています。

要約(オリジナル)

Control tuning and adaptation present a significant challenge to the usage of robots in diverse environments. It is often nontrivial to find a single set of control parameters by hand that work well across the broad array of environments and conditions that a robot might encounter. Automated adaptation approaches must utilize prior knowledge about the system while adapting to significant domain shifts to find new control parameters quickly. In this work, we present a general framework for online controller adaptation that deals with these challenges. We combine meta-learning with Bayesian recursive estimation to learn prior predictive models of system performance that quickly adapt to online data, even when there is significant domain shift. These predictive models can be used as cost functions within efficient sampling-based optimization routines to find new control parameters online that maximize system performance. Our framework is powerful and flexible enough to adapt controllers for four diverse systems: a simulated race car, a simulated quadrupedal robot, and a simulated and physical quadrotor.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google