Transformer-Based Learned Optimization

要約

タイトル：Transformer-Based Learned Optimization

要約：

1. Learned optimization（学習最適化）に新しいアプローチを提案
2. 最適化のアップデートステップの計算をニューラルネットワークで表現する
3. 最適化のパラメータは、最小化を効率的に行うことを目的として、最適化タスクのセットでトレーニングすることで学習する
4. 学習された最適化器のパラメータは、クラシックなBFGSアルゴリズムにインスピレーションを得た新しいニューラルネットワークアーキテクチャである「Optimus」を使用する
5. BFGSのように、ランク1の更新の合計を前処理行列の推定値として使用するが、ステップの長さと方向と一緒にこれらの更新を予測するためにTransformer-Basedのニューラルネットワークを使用する
6. 最近の学習最適化ベースのアプローチとは異なり、本提案では、目標問題のパラメータ空間の次元間の条件付けが可能であり、再学習なしに様々な次元に対応した最適化タスクに適用可能である
7. 一般的に最適化アルゴリズムの評価に使用される目的関数から構成されるベンチマークと、物理ベースのアーティキュレーテッド3D人間の動きの視覚再構成の実世界タスクで、本アプローチの利点を示す。

要約(オリジナル)

We propose a new approach to learned optimization where we represent the computation of an optimizer’s update step using a neural network. The parameters of the optimizer are then learned by training on a set of optimization tasks with the objective to perform minimization efficiently. Our innovation is a new neural network architecture, Optimus, for the learned optimizer inspired by the classic BFGS algorithm. As in BFGS, we estimate a preconditioning matrix as a sum of rank-one updates but use a Transformer-based neural network to predict these updates jointly with the step length and direction. In contrast to several recent learned optimization-based approaches, our formulation allows for conditioning across the dimensions of the parameter space of the target problem while remaining applicable to optimization tasks of variable dimensionality without retraining. We demonstrate the advantages of our approach on a benchmark composed of objective functions traditionally used for the evaluation of optimization algorithms, as well as on the real world-task of physics-based visual reconstruction of articulated 3d human motion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI