Transformer-Based Learned Optimization

要約

私たちは、オプティマイザーの更新ステップの計算をニューラル ネットワークを使用して表現する、学習された最適化への新しいアプローチを提案します。
次に、オプティマイザのパラメータは、最小化を効率的に実行することを目的とした一連の最適化タスクでトレーニングすることによって学習されます。
私たちのイノベーションは、古典的な BFGS アルゴリズムからインスピレーションを得た学習型オプティマイザーのための新しいニューラル ネットワーク アーキテクチャである Optimus です。
BFGS と同様に、事前調整行列をランク 1 更新の合計として推定しますが、Transformer ベースのニューラル ネットワークを使用して、ステップの長さと方向を組み合わせてこれらの更新を予測します。
最近のいくつかの学習された最適化ベースのアプローチとは対照的に、私たちの定式化は、ターゲット問題のパラメーター空間の次元全体で条件付けを可能にし、同時に再トレーニングなしで可変次元の最適化タスクにも適用可能です。
私たちは、最適化アルゴリズムの評価に伝統的に使用されている目的関数で構成されるベンチマークと、関節のある 3D 人間の動きの物理ベースの視覚的再構成という現実世界のタスクにおいて、私たちのアプローチの利点を実証します。

要約(オリジナル)

We propose a new approach to learned optimization where we represent the computation of an optimizer’s update step using a neural network. The parameters of the optimizer are then learned by training on a set of optimization tasks with the objective to perform minimization efficiently. Our innovation is a new neural network architecture, Optimus, for the learned optimizer inspired by the classic BFGS algorithm. As in BFGS, we estimate a preconditioning matrix as a sum of rank-one updates but use a Transformer-based neural network to predict these updates jointly with the step length and direction. In contrast to several recent learned optimization-based approaches, our formulation allows for conditioning across the dimensions of the parameter space of the target problem while remaining applicable to optimization tasks of variable dimensionality without retraining. We demonstrate the advantages of our approach on a benchmark composed of objective functions traditionally used for the evaluation of optimization algorithms, as well as on the real world-task of physics-based visual reconstruction of articulated 3d human motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google