Meta-Learning Parameterized First-Order Optimizers using Differentiable Convex Optimization

要約

タイトル：差分可能凸最適化を用いたメタラーニングパラメータ化ファーストオーダーオプティマイザ

要約：従来の機械学習や制御における最適化手法は、一次更新ルールに heavily に依存している。特定のタスクに適切なメソッドとハイパーパラメータを選択することはしばしば試行錯誤や実践者の直感によって行われ、これを動機としてメタラーニングの分野がある。我々は、内部ループ最適化ステップが差分可能凸最適化(DCO)を解決することで、既存の広範なアップデートルールを一般化するメタラーニングフレームワークを提案する。我々は、似たようなタスクに十分な経験を持つメタラーナーであれば、これにより一段階最適化が可能である線形最小2乗問題のファミリーを最適化することができるという理論的魅力を示すことで、このアプローチの理論的な魅力を説明する。DCOアップデートルールの様々な実例は、顕著な実験設定の一連の従来のオプティマイザに比較される。

要点：

– 一次更新ルールに依存している従来の機械学習や制御における最適化手法
– メタラーニングフレームワークで内部ループ最適化ステップを差分可能凸最適化(DCO)で解決することで、広範なアップデートルールを一般化する
– 似たようなタスクに十分な経験を持つメタラーナーであれば、一段階最適化が可能である線形最小2乗問題のファミリーを最適化することができる
– DCOアップデートルールは、従来のオプティマイザに比較されて、様々な実例で評価される。

要約(オリジナル)

Conventional optimization methods in machine learning and controls rely heavily on first-order update rules. Selecting the right method and hyperparameters for a particular task often involves trial-and-error or practitioner intuition, motivating the field of meta-learning. We generalize a broad family of preexisting update rules by proposing a meta-learning framework in which the inner loop optimization step involves solving a differentiable convex optimization (DCO). We illustrate the theoretical appeal of this approach by showing that it enables one-step optimization of a family of linear least squares problems, given that the meta-learner has sufficient exposure to similar tasks. Various instantiations of the DCO update rule are compared to conventional optimizers on a range of illustrative experimental settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI