Smoothing the Edges: A General Framework for Smooth Optimization in Sparse Regularization using Hadamard Overparametrization

要約

この論文では、$\ell_q$ および $\ell_{p,q}$ の正則化最適化問題における (構造化された) スパース性のスムーズな方法を紹介します。
これらの滑らかではない問題、および場合によっては凸でない問題の最適化は、通常、特殊な手順に依存します。
対照的に、私たちの一般的なフレームワークは、必要な変更を加えることなく、確率的勾配降下法や加速バリアントなどの一般的な一次最適化手法と互換性があります。
これは、アダマール積を使用した選択されたモデル パラメーターのオーバーパラメーター化とペナルティの変更を含む、スムーズな最適化移行を通じて実現されます。
オーバーパラメータ化問題では、サロゲート パラメータの滑らかで凸な $\ell_2$ 正則化は、元のパラメータ化に非滑らかで非凸な $\ell_q$ または $\ell_{p,q}$ 正則化を引き起こします。
私たちのアプローチは、一致する大域的最小値だけでなく、同等の局所的最小値も生成することを示します。
これは、グローバル最小値を見つけることが NP 困難であり、ローカル最小値がよく一般化されることが知られている非凸スパース正則化で特に役立ちます。
私たちは、スパース性を引き起こすパラメータ化に関するさまざまな文献を統合した包括的な概要を提供し、既存のアプローチへの有意義な拡張を提案します。
私たちのアプローチの実現可能性は数値実験を通じて評価され、そのパフォーマンスが凸および非凸正則化法の一般的に使用される実装と同等またはそれを上回ることが実証されています。

要約(オリジナル)

This paper introduces a smooth method for (structured) sparsity in $\ell_q$ and $\ell_{p,q}$ regularized optimization problems. Optimization of these non-smooth and possibly non-convex problems typically relies on specialized procedures. In contrast, our general framework is compatible with prevalent first-order optimization methods like Stochastic Gradient Descent and accelerated variants without any required modifications. This is accomplished through a smooth optimization transfer, comprising an overparametrization of selected model parameters using Hadamard products and a change of penalties. In the overparametrized problem, smooth and convex $\ell_2$ regularization of the surrogate parameters induces non-smooth and non-convex $\ell_q$ or $\ell_{p,q}$ regularization in the original parametrization. We show that our approach yields not only matching global minima but also equivalent local minima. This is particularly useful in non-convex sparse regularization, where finding global minima is NP-hard and local minima are known to generalize well. We provide a comprehensive overview consolidating various literature strands on sparsity-inducing parametrizations and propose meaningful extensions to existing approaches. The feasibility of our approach is evaluated through numerical experiments, which demonstrate that its performance is on par with or surpasses commonly used implementations of convex and non-convex regularization methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google