Entropic Mirror Descent for Linear Systems: Polyak’s Stepsize and Implicit Bias

要約

このホワイトペーパーでは、エントロピーミラー降下を適用して線形システムを解くことに焦点を当てています。線形システムは、収束分析の主な課題がドメインの縛られていないことに起因するものです。
制限的な仮定を課すことなくこれを克服するために、PolyAKタイプのステップサイズのバリアントを導入します。
途中で、$ \ ell_1 $ -Normの暗黙的バイアスの境界を強化し、サブリンと線形の収束結果を取得し、収束結果を任意の凸$ l $ -smooth関数に一般化します。
また、元のHadamard降下に似ていますが、証明可能な収束を伴う、指数を回避する代替方法も提案しています。

要約(オリジナル)

This paper focuses on applying entropic mirror descent to solve linear systems, where the main challenge for the convergence analysis stems from the unboundedness of the domain. To overcome this without imposing restrictive assumptions, we introduce a variant of Polyak-type stepsizes. Along the way, we strengthen the bound for $\ell_1$-norm implicit bias, obtain sublinear and linear convergence results, and generalize the convergence result to arbitrary convex $L$-smooth functions. We also propose an alternative method that avoids exponentiation, resembling the original Hadamard descent, but with provable convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google