DiffTune$^+$: Hyperparameter-Free Auto-Tuning using Auto-Differentiation

要約

コントローラーの調整は、コントローラーが設計どおりのパフォーマンスを確実に発揮できるようにするための重要なステップです。
DiffTune は、動的システムとコントローラーを計算グラフに展開し、自動微分を使用してコントローラーのパラメーター更新の勾配を取得する自動調整方法として提案されています。
ただし、DiffTune はバニラの勾配降下法を使用してパラメータを繰り返し更新します。この場合、パフォーマンスは (ハイパーパラメータとしての) 学習率の選択に大きく依存します。
この論文では、ハイパーパラメーターを使用しない方法を使用してコントローラー パラメーターを更新することを提案します。
損失削減を最大化することによって最適なパラメータ更新を見つけます。ここで、近似された状態と制御に基づく予測損失が最大化に使用されます。
パラメータを最適に更新するために 2 つの方法が提案されており、Dubin の車とクワッドローターのシミュレーションで関連するバリアントと比較されます。
シミュレーション実験では、提案された 1 次の方法がハイパーパラメーターに基づく方法よりも優れており、ハイパーパラメーターを使用しない 2 次の方法よりも堅牢であることが示されています。

要約(オリジナル)

Controller tuning is a vital step to ensure the controller delivers its designed performance. DiffTune has been proposed as an automatic tuning method that unrolls the dynamical system and controller into a computational graph and uses auto-differentiation to obtain the gradient for the controller’s parameter update. However, DiffTune uses the vanilla gradient descent to iteratively update the parameter, in which the performance largely depends on the choice of the learning rate (as a hyperparameter). In this paper, we propose to use hyperparameter-free methods to update the controller parameters. We find the optimal parameter update by maximizing the loss reduction, where a predicted loss based on the approximated state and control is used for the maximization. Two methods are proposed to optimally update the parameters and are compared with related variants in simulations on a Dubin’s car and a quadrotor. Simulation experiments show that the proposed first-order method outperforms the hyperparameter-based methods and is more robust than the second-order hyperparameter-free methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google