Optimization with Access to Auxiliary Information

要約

我々は、勾配が安価であるか利用可能な補助関数 $h$ へのアクセスを前提として、勾配の計算にコストがかかる、または利用可能性が限られているターゲット関数 $f$ を最小化するという基本的な最適化の問題を調査します。
この定式化は、i) SGD でのバッチの再利用、ii) 転移学習、iii) 統合学習、iv) 圧縮モデル/ドロップアウトを使用したトレーニングなど、実際に関連する多くの設定を捕捉します。私たちは、次のような 2 つの一般的な新しいアルゴリズムを提案します。
これらすべての設定を使用して、ターゲットとサイド情報の間のヘッセ行列の類似性に関する仮定のみを使用して、このフレームワークから恩恵を受けることができることを証明します。
この類似性の尺度が小さい場合に利点が得られます。また、補助ノイズがターゲット関数のノイズと相関している場合、確率論による潜在的な利点も示します。

要約(オリジナル)

We investigate the fundamental optimization question of minimizing a target function $f$, whose gradients are expensive to compute or have limited availability, given access to some auxiliary side function $h$ whose gradients are cheap or more available. This formulation captures many settings of practical relevance, such as i) re-using batches in SGD, ii) transfer learning, iii) federated learning, iv) training with compressed models/dropout, etc. We propose two generic new algorithms that apply in all these settings and prove that we can benefit from this framework using only an assumption on the Hessian similarity between the target and side information. A benefit is obtained when this similarity measure is small, we also show a potential benefit from stochasticity when the auxiliary noise is correlated with that of the target function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google