Stochastic Nested Compositional Bi-level Optimization for Robust Feature Learning

要約

私たちは、ネストされた構成バイレベル最適化問題を解決するための確率的近似アルゴリズムを開発および分析します。
これらの問題には、上位レベルの $T$ の潜在的に非凸の滑らかな関数と、下位レベルの滑らかで強い凸の関数の入れ子構造が含まれます。
私たちが提案するアルゴリズムは、逆行列やミニバッチに依存せず、約 $\tilde{O}_T(1/\epsilon^{2})$ のオラクル複雑度で $\epsilon$ 定常解を達成できます。
構成および下位レベルの個々の関数に対する確率的一次オラクルの利用可能性。これは偏りがなく、モーメントが制限されています。
ここで、$\tilde{O}_T$ は、$T$ に依存するポリログ因数と定数を隠します。
この結果を確立する際に私たちが取り組む重要な課題は、確率的勾配における 3 つの異なるバイアス源の処理に関係しています。
最初の原因は上位レベルの構成的性質から生じ、2 番目は 2 レベル構造から生じ、3 番目は行列の反転を回避するためのノイマン級数近似の利用により現れます。
私たちのアプローチの有効性を実証するために、それを共変量シフト下のディープ ニューラル ネットワークのロバストな特徴学習の問題に適用し、そのコンテキストにおける私たちの方法論の利点と利点を示します。

要約(オリジナル)

We develop and analyze stochastic approximation algorithms for solving nested compositional bi-level optimization problems. These problems involve a nested composition of $T$ potentially non-convex smooth functions in the upper-level, and a smooth and strongly convex function in the lower-level. Our proposed algorithm does not rely on matrix inversions or mini-batches and can achieve an $\epsilon$-stationary solution with an oracle complexity of approximately $\tilde{O}_T(1/\epsilon^{2})$, assuming the availability of stochastic first-order oracles for the individual functions in the composition and the lower-level, which are unbiased and have bounded moments. Here, $\tilde{O}_T$ hides polylog factors and constants that depend on $T$. The key challenge we address in establishing this result relates to handling three distinct sources of bias in the stochastic gradients. The first source arises from the compositional nature of the upper-level, the second stems from the bi-level structure, and the third emerges due to the utilization of Neumann series approximations to avoid matrix inversion. To demonstrate the effectiveness of our approach, we apply it to the problem of robust feature learning for deep neural networks under covariate shift, showcasing the benefits and advantages of our methodology in that context.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google