The rate of convergence of Bregman proximal methods: Local geometry vs. regularity vs. sharpness

要約

我々は、ミラー降下からミラープロキシおよびその楽観的な変形に至るブレグマン近似法の最後の反復収束率を、メソッドを定義するプロキシマッピングによって誘発される局所幾何学の関数として調べます。
一般性を高めるために、制約付きの非単調変分不等式の局所解に焦点を当て、特定の手法の収束率が、基礎となるブレグマン関数 (ユークリッド関数) の成長率を測定する概念である、関連するルジャンドル指数に大きく依存することを示します。
、エントロピー、またはその他）溶液の近く。
特に、境界解は、ルジャンドル指数がゼロとゼロ以外の方法の間で領域が明確に分離されていることを示します。前者は線形率で収束しますが、後者は一般に線形未満に収束します。
この二分法は、ユークリッド正則化での有限ステップ数での収束と比較して、エントロピー正則化による手法が鋭い方向に沿った線形収束率を達成する線形制約問題ではさらに顕著になります。

要約(オリジナル)

We examine the last-iterate convergence rate of Bregman proximal methods – from mirror descent to mirror-prox and its optimistic variants – as a function of the local geometry induced by the prox-mapping defining the method. For generality, we focus on local solutions of constrained, non-monotone variational inequalities, and we show that the convergence rate of a given method depends sharply on its associated Legendre exponent, a notion that measures the growth rate of the underlying Bregman function (Euclidean, entropic, or other) near a solution. In particular, we show that boundary solutions exhibit a stark separation of regimes between methods with a zero and non-zero Legendre exponent: the former converge at a linear rate, while the latter converge, in general, sublinearly. This dichotomy becomes even more pronounced in linearly constrained problems where methods with entropic regularization achieve a linear convergence rate along sharp directions, compared to convergence in a finite number of steps under Euclidean regularization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google