Finite-Sum Coupled Compositional Stochastic Optimization: Theory and Applications

要約

この論文では、各被加数の内部レベル関数が対応する合計インデックスと結合される、合成関数の合計の確率的最適化について研究します。
この一連の問題を有限和結合組成最適化 (FCCO) と呼びます。
平均精度 (AP)、p ノルム プッシュ、リストごとのランキング損失、近傍成分分析 (NCA)、深い生存分析、深い潜在変数モデルなどの非凸または凸の組成測定/目的を最適化するための機械学習における幅広い用途があります。
、など、より詳細な分析に値します。
しかし、既存のアルゴリズムと分析は、何らかの側面で制限されています。
この論文の貢献は、非凸目的と凸目的の両方に対する単純な確率的アルゴリズムの包括的な収束分析を提供することです。
私たちの主な結果は、ミニバッチ処理を備えた移動平均ベースの推定器を使用することで並列速度が向上し、Oracle の複雑さが改善されたことです。
私たちの理論的分析は、外側レベルと内側レベルで同じサイズのバッチをサンプリングすることにより、実際の実装を改善するための新しい洞察も示しています。
AP の最大化、NCA、および p ノルム プッシュに関する数値実験は、理論のいくつかの側面を裏付けています。

要約(オリジナル)

This paper studies stochastic optimization for a sum of compositional functions, where the inner-level function of each summand is coupled with the corresponding summation index. We refer to this family of problems as finite-sum coupled compositional optimization (FCCO). It has broad applications in machine learning for optimizing non-convex or convex compositional measures/objectives such as average precision (AP), p-norm push, listwise ranking losses, neighborhood component analysis (NCA), deep survival analysis, deep latent variable models, etc., which deserves finer analysis. Yet, existing algorithms and analyses are restricted in one or other aspects. The contribution of this paper is to provide a comprehensive convergence analysis of a simple stochastic algorithm for both non-convex and convex objectives. Our key result is the improved oracle complexity with the parallel speed-up by using the moving-average based estimator with mini-batching. Our theoretical analysis also exhibits new insights for improving the practical implementation by sampling the batches of equal size for the outer and inner levels. Numerical experiments on AP maximization, NCA, and p-norm push corroborate some aspects of the theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google