Fast Algorithm for Constrained Linear Inverse Problems

要約

ここでは、特定の原子ノルム ($\ell_1 $ ノルムなど) が二次制約に従って最小化される、制約付き線形逆問題 (LIP) を検討します。
通常、このようなコスト関数は微分不可能であるため、実際に存在する高速な最適化手法には適していません。
我々は、改善された凸規則性を備えた制約付き LIP の 2 つの等価な再定式化を提案します: (i) 滑らかな凸の最小化問題、および (ii) 強い凸の最小-最大問題。
これらの問題は、現在の最良レート $ O \ を改善して、より優れた $ O \left( \frac{1}{k^2} \right) $ 理論的収束保証を提供する既存の加速ベースの凸最適化手法を適用することで解決できる可能性があります。
left( \frac{1}{k} \right) $.
また、再定式化の構造を最大限に活用するように調整された高速線形逆問題ソルバー (FLIPS) という新しいアルゴリズムも提供します。
バイナリ選択、圧縮センシング、画像ノイズ除去といった古典的な問題に対する FLIPS のパフォーマンスを実証します。
これら 3 つの例には、他の LIP に簡単に適合できるオープン ソースの \texttt{MATLAB} パッケージも提供されています。

要約(オリジナル)

We consider the constrained Linear Inverse Problem (LIP), where a certain atomic norm (like the $\ell_1 $ norm) is minimized subject to a quadratic constraint. Typically, such cost functions are non-differentiable which makes them not amenable to the fast optimization methods existing in practice. We propose two equivalent reformulations of the constrained LIP with improved convex regularity: (i) a smooth convex minimization problem, and (ii) a strongly convex min-max problem. These problems could be solved by applying existing acceleration-based convex optimization methods which provide better $ O \left( \frac{1}{k^2} \right) $ theoretical convergence guarantee, improving upon the current best rate of $ O \left( \frac{1}{k} \right) $. We also provide a novel algorithm named the Fast Linear Inverse Problem Solver (FLIPS), which is tailored to maximally exploit the structure of the reformulations. We demonstrate the performance of FLIPS on the classical problems of Binary Selection, Compressed Sensing, and Image Denoising. We also provide open source \texttt{MATLAB} package for these three examples, which can be easily adapted to other LIPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google