要約
深層画像事前学習(DIP)は、画像再構成のための教師なし深層学習手法として確立されているが、完璧とは言い難い。DIPは、早期に停止するか、正則化された目的によって最適化されないと、ノイズに過剰に適合する。我々は、学習を特異値の適応に限定する新しい戦略を採用することで、事前学習されたDIPの正則化された微調整を構築する。提案するSVD-DIPは、事前に学習されたパラメータが特異値分解によって分解されたアドホック畳み込み層を使用する。そして、DIPの最適化は、左右の特異ベクトルを固定したまま、特異値を微調整することのみで成り立つ。我々は、蓮根の実測$mu$CTデータと2つの医療データセット(LoDoPaBとMayo)で提案手法を徹底的に検証した。その結果、ノイズに対するオーバーフィッティングを克服し、DIP最適化の安定性が大幅に改善されたことを報告する。
要約(オリジナル)
The deep image prior (DIP) is a well-established unsupervised deep learning method for image reconstruction; yet it is far from being flawless. The DIP overfits to noise if not early stopped, or optimized via a regularized objective. We build on the regularized fine-tuning of a pretrained DIP, by adopting a novel strategy that restricts the learning to the adaptation of singular values. The proposed SVD-DIP uses ad hoc convolutional layers whose pretrained parameters are decomposed via the singular value decomposition. Optimizing the DIP then solely consists in the fine-tuning of the singular values, while keeping the left and right singular vectors fixed. We thoroughly validate the proposed method on real-measured $\mu$CT data of a lotus root as well as two medical datasets (LoDoPaB and Mayo). We report significantly improved stability of the DIP optimization, by overcoming the overfitting to noise.
arxiv情報
著者 | Marco Nittscher,Michael Lameter,Riccardo Barbano,Johannes Leuschner,Bangti Jin,Peter Maass |
発行日 | 2023-05-15 16:30:10+00:00 |
arxivサイト | arxiv_id(pdf) |