Adaptive and Implicit Regularization for Matrix Completion

要約

核ノルム正則化などの明示的な低ランク正則化は、画像科学で広く使用されています。
ただし、さまざまな画像処理タスクでは、暗黙的な正則化が明示的な正則化よりも優れていることがわかっています。
もう 1 つの問題は、さまざまな画像がさまざまな明示的な正則化によってキャプチャされたさまざまな機能を優先するため、修正された明示的な正則化が広範な画像への適用性を制限することです。
そのため、このホワイト ペーパーでは、トレーニング データから動的に低ランクの事前確率を取得する、新しい適応的で暗黙的な低ランクの正則化を提案します。
新しい適応的で暗黙的な低ランク正則化の核心は、正則化 AIR と呼ばれるディリクレ エネルギー ベースの正則化でラプラシアン行列をパラメーター化することです。
理論的には、\ReTwo{AIR} の適応正則化が暗黙の正則化を強化し、トレーニングの最後に消失することを示します。
さまざまなベンチマーク タスクでの AIR の有効性を検証し、欠落しているエントリが不均一なシナリオで AIR が特に有利であることを示します。
コードは https://github.com/lizhemin15/AIR-Net にあります。

要約(オリジナル)

The explicit low-rank regularization, e.g., nuclear norm regularization, has been widely used in imaging sciences. However, it has been found that implicit regularization outperforms explicit ones in various image processing tasks. Another issue is that the fixed explicit regularization limits the applicability to broad images since different images favor different features captured by different explicit regularizations. As such, this paper proposes a new adaptive and implicit low-rank regularization that captures the low-rank prior dynamically from the training data. The core of our new adaptive and implicit low-rank regularization is parameterizing the Laplacian matrix in the Dirichlet energy-based regularization, which we call the regularization AIR. Theoretically, we show that the adaptive regularization of \ReTwo{AIR} enhances the implicit regularization and vanishes at the end of training. We validate AIR’s effectiveness on various benchmark tasks, indicating that the AIR is particularly favorable for the scenarios when the missing entries are non-uniform. The code can be found at https://github.com/lizhemin15/AIR-Net.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google