Efficient Low-rank Identification via Accelerated Iteratively Reweighted Nuclear Norm Minimization

要約

この論文では、滑らかな関数と行列の Schatten-$p$ ノルムの合計を最小化する問題を検討します。
私たちの貢献には、非凸低ランク最小化問題を解決するために設計された加速反復再重み付け核ノルム手法の提案が含まれます。
2 つの大きな新規性が私たちのアプローチを特徴づけます。
第一に、提案された方法はランク識別特性を備えており、有限の反復回数内で静止点の「正しい」ランクを証明可能な識別できるようにします。
次に、パラメータを平滑化するための適応更新戦略を導入します。
この戦略は、「正しい」ランクを検出すると、ゼロの特異値に関連付けられたパラメーターを定数として自動的に修正し、残りのパラメーターを迅速にゼロにします。
この適応的な動作により、アルゴリズムは数回の反復後に滑らかな問題を効果的に解決するアルゴリズムに変換され、低ランク最適化のための反復的に再重み付けされる既存の手法とは区別されます。
提案されたアルゴリズムの大域的収束を証明し、反復のすべての限界点が臨界点であることを保証します。
さらに、ローカル収束率分析が Kurdyka-{\L}ojasiewicz プロパティで提供されます。
私たちは合成データと実際のデータの両方を使用して数値実験を実施し、アルゴリズムの効率性と既存の方法に対する優位性を実証します。

要約(オリジナル)

This paper considers the problem of minimizing the sum of a smooth function and the Schatten-$p$ norm of the matrix. Our contribution involves proposing accelerated iteratively reweighted nuclear norm methods designed for solving the nonconvex low-rank minimization problem. Two major novelties characterize our approach. Firstly, the proposed method possesses a rank identification property, enabling the provable identification of the ‘correct’ rank of the stationary point within a finite number of iterations. Secondly, we introduce an adaptive updating strategy for smoothing parameters. This strategy automatically fixes parameters associated with zero singular values as constants upon detecting the ‘correct’ rank while quickly driving the rest of the parameters to zero. This adaptive behavior transforms the algorithm into one that effectively solves smooth problems after a few iterations, setting our work apart from existing iteratively reweighted methods for low-rank optimization. We prove the global convergence of the proposed algorithm, guaranteeing that every limit point of the iterates is a critical point. Furthermore, a local convergence rate analysis is provided under the Kurdyka-{\L}ojasiewicz property. We conduct numerical experiments using both synthetic and real data to showcase our algorithm’s efficiency and superiority over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google