Transformer-Based Learned Optimization

要約

本論文では、学習型最適化に対する新しいアプローチを提案する。文献によく見られるように、我々はオプティマイザの更新ステップの計算をニューラルネットワークで表現する。そして、最適化器のパラメータは、最小化を効率的に実行するために、学習最適化タスクのセットで学習される。我々の主な革新点は、古典的なBFGSアルゴリズムにヒントを得た、学習済みオプティマイザ用の新しいニューラルネットワーク・アーキテクチャを提案することである。BFGSと同様に、我々はランク1の更新の合計として前提条件行列を推定するが、変換器ベースのニューラルネットワークを用いて、これらの更新とステップ長および方向とを同時に予測する。最近のいくつかの学習型最適化アプローチとは対照的に、我々の定式化は、再トレーニングなしに可変次元の最適化タスクに適用可能でありながら、ターゲット問題のパラメータ空間の異なる次元に渡って条件付けを行うことを可能にする。我々は、従来から最適化アルゴリズムの評価に用いられている目的関数で構成されるベンチマークと、現実世界の課題である多関節3次元人体運動の物理ベース再構成において、我々のアプローチの優位性を実証する。

要約(オリジナル)

In this paper, we propose a new approach to learned optimization. As common in the literature, we represent the computation of the update step of the optimizer with a neural network. The parameters of the optimizer are then learned on a set of training optimization tasks, in order to perform minimisation efficiently. Our main innovation is to propose a new neural network architecture for the learned optimizer inspired by the classic BFGS algorithm. As in BFGS, we estimate a preconditioning matrix as a sum of rank-one updates but use a transformer-based neural network to predict these updates jointly with the step length and direction. In contrast to several recent learned optimization approaches, our formulation allows for conditioning across different dimensions of the parameter space of the target problem while remaining applicable to optimization tasks of variable dimensionality without retraining. We demonstrate the advantages of our approach on a benchmark composed of objective functions traditionally used for evaluation of optimization algorithms, as well as on the real world-task of physics-based reconstruction of articulated 3D human motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL