Iterative Regularization with k-support Norm: An Important Complement to Sparse Recovery

要約

スパース回復は機械学習と信号処理において広く普及しています。
スパース回復の NP 困難な性質により、既存の方法は適用条件が制限されている (または未知の) か、または計算コストが高いという問題があることが知られています。
最近、反復正則化手法は、従来の手法で使用されていた面倒なグリッド検索ではなく、早期停止により 1 回のパスでスパース回復を達成できるため、有望な高速アプローチとして浮上しています。
ただし、これらの反復手法のほとんどは、制限的な適用条件を必要とする $\ell_1$ ノルムに基づいており、多くの場合失敗する可能性があります。
したがって、より広範囲の条件下で反復正則化法を使用してスパース回復を達成することについては、まださらに検討されていません。
この問題に対処するために、$\ell_1$ ノルムではなく $k$-support ノルム正則化子に基づいた新しい反復正則化アルゴリズム IRKSN を提案します。
IRKSN を使用してスパース回復の条件を提供し、$\ell_1$ ノルム正則化子を使用した従来の回復条件と比較します。
さらに、明示的な定数を使用して IRKSN のモデル誤差に早期停止限界を与え、スパース回復の標準線形速度を達成します。
最後に、相関設計行列を使用したサポート回復実験など、いくつかの実験に対するアルゴリズムの適用可能性を示します。

要約(オリジナル)

Sparse recovery is ubiquitous in machine learning and signal processing. Due to the NP-hard nature of sparse recovery, existing methods are known to suffer either from restrictive (or even unknown) applicability conditions, or high computational cost. Recently, iterative regularization methods have emerged as a promising fast approach because they can achieve sparse recovery in one pass through early stopping, rather than the tedious grid-search used in the traditional methods. However, most of those iterative methods are based on the $\ell_1$ norm which requires restrictive applicability conditions and could fail in many cases. Therefore, achieving sparse recovery with iterative regularization methods under a wider range of conditions has yet to be further explored. To address this issue, we propose a novel iterative regularization algorithm, IRKSN, based on the $k$-support norm regularizer rather than the $\ell_1$ norm. We provide conditions for sparse recovery with IRKSN, and compare them with traditional conditions for recovery with $\ell_1$ norm regularizers. Additionally, we give an early stopping bound on the model error of IRKSN with explicit constants, achieving the standard linear rate for sparse recovery. Finally, we illustrate the applicability of our algorithm on several experiments, including a support recovery experiment with a correlated design matrix.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google