Small noise analysis for Tikhonov and RKHS regularizations

要約

正則化は、不正設定機械学習と逆問題において極めて重要な役割を果たします。
ただし、さまざまな正則化規範の基本的な比較分析は未解決のままです。
我々は、ガウスノイズを伴う不正設定線形逆問題のコンテキストで、チホノフ正則化およびRKHS正則化におけるノルムの影響を評価するための小さなノイズ解析フレームワークを確立します。
このフレームワークは、小さなノイズ限界における正則化推定器の収束率を研究し、従来の L2 正則化器の潜在的な不安定性を明らかにします。
我々は、フラクショナル平滑度パラメーターを調整することで L2 Tikhonov および RKHS 正則化をカバーする革新的なクラスの適応フラクショナル RKHS 正則化を提案することで、このような不安定性を解決します。
驚くべき洞察は、これらのフラクショナル RKHS による過剰平滑化により常に最適な収束率が得られるものの、最適なハイパーパラメータの減衰が早すぎて実際には選択できない可能性があるということです。

要約(オリジナル)

Regularization plays a pivotal role in ill-posed machine learning and inverse problems. However, the fundamental comparative analysis of various regularization norms remains open. We establish a small noise analysis framework to assess the effects of norms in Tikhonov and RKHS regularizations, in the context of ill-posed linear inverse problems with Gaussian noise. This framework studies the convergence rates of regularized estimators in the small noise limit and reveals the potential instability of the conventional L2-regularizer. We solve such instability by proposing an innovative class of adaptive fractional RKHS regularizers, which covers the L2 Tikhonov and RKHS regularizations by adjusting the fractional smoothness parameter. A surprising insight is that over-smoothing via these fractional RKHSs consistently yields optimal convergence rates, but the optimal hyper-parameter may decay too fast to be selected in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google