Fast sparse optimization via adaptive shrinkage

要約

たとえば、大次元のデータ駆動型問題に対処したり、時間とともに変化するシステムを追跡したりするために、高速スパース最適化の必要性が生じています。
線形スパース最適化のフレームワークでは、反復収縮しきい値アルゴリズムは Lasso を解くための貴重な方法であり、実装の容易さで特に高く評価されています。
それでも、ゆっくりと収束していきます。
この論文では、対数正則化に基づく近似法を開発します。これは、適応収縮ハイパーパラメータを備えた反復収縮閾値アルゴリズムであることが判明します。
この適応性により、元の方法の単純さを維持しながら、より高速な収束をもたらす方法で、アルゴリズムの軌道が大幅に強化されます。
私たちの貢献は 2 つあります。1 つは、提案されたアルゴリズムを導き出し、分析することです。
その一方で、数値実験を通じてその高速収束を検証し、最先端のアルゴリズムに関するパフォーマンスについて議論します。

要約(オリジナル)

The need for fast sparse optimization is emerging, e.g., to deal with large-dimensional data-driven problems and to track time-varying systems. In the framework of linear sparse optimization, the iterative shrinkage-thresholding algorithm is a valuable method to solve Lasso, which is particularly appreciated for its ease of implementation. Nevertheless, it converges slowly. In this paper, we develop a proximal method, based on logarithmic regularization, which turns out to be an iterative shrinkage-thresholding algorithm with adaptive shrinkage hyperparameter. This adaptivity substantially enhances the trajectory of the algorithm, in a way that yields faster convergence, while keeping the simplicity of the original method. Our contribution is twofold: on the one hand, we derive and analyze the proposed algorithm; on the other hand, we validate its fast convergence via numerical experiments and we discuss the performance with respect to state-of-the-art algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google