Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization

要約

標準的なオンライン ロバスト主成分分析 (OR-PCA) 手法のパフォーマンスは、明示的正則化子の最適な調整に依存しており、この調整はデータセットに依存します。
暗黙的な正則化を使用して、これらの調整パラメーターへの依存性を取り除くことを目指しています。
OR-PCA チューニングを無料にするために、さまざまな修正勾配降下法の暗黙的な正則化効果を使用することを提案します。
私たちの手法には、データ内のスパース性と低ランク構造を別々に、しかし自然に促進する修正勾配降下の 3 つの異なるバージョンが組み込まれています。
提案された方法は、シミュレートされたデータセットと現実世界のデータセットの両方に対して、調整された OR-PCA と同等以上のパフォーマンスを発揮します。
チューニング不要の ORPCA では、データセットに依存するパラメーターのチューニングが必要ないため、大規模なデータセットのスケーラビリティが向上します。

要約(オリジナル)

The performance of the standard Online Robust Principal Component Analysis (OR-PCA) technique depends on the optimum tuning of the explicit regularizers and this tuning is dataset sensitive. We aim to remove the dependency on these tuning parameters by using implicit regularization. We propose to use the implicit regularization effect of various modified gradient descents to make OR-PCA tuning free. Our method incorporates three different versions of modified gradient descent that separately but naturally encourage sparsity and low-rank structures in the data. The proposed method performs comparable or better than the tuned OR-PCA for both simulated and real-world datasets. Tuning-free ORPCA makes it more scalable for large datasets since we do not require dataset-dependent parameter tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google