Overcoming Distribution Shifts in Plug-and-Play Methods with Test-Time Training

要約

プラグ アンド プレイ プライア (PnP) は、コンピュータ イメージングにおける逆問題を解決するためのよく知られたクラスのメソッドです。
PnP メソッドは、物理フォワード モデルと、画像デノイザーとして指定された学習済みの事前モデルを組み合わせます。
学習済みモデルに関する一般的な問題は、トレーニング データとテスト データの間で分布の変化がある場合のパフォーマンスの低下です。
テスト時トレーニング (TTT) は、トレーニング データとテスト データが異なる分布から取得された場合に、学習済みモデルのパフォーマンスを向上させるための一般的な戦略として最近提案されました。
本稿では、PnP における分布シフトを克服する新しい手法として PnP-TTT を提案します。
PnP-TTT は、深層平衡学習 (DEQ) を使用して、PnP 反復の固定点での自己教師あり損失を最適化します。
PnP-TTT を単一のテスト サンプルに直接適用して、PnP の一般化を向上させることができます。
十分な数の測定が与えられた場合、PnP-TTT により、自然画像でトレーニングされた画像事前分布を磁気共鳴画像法 (MRI) での画像再構成に使用できることをシミュレーションを通じて示します。

要約(オリジナル)

Plug-and-Play Priors (PnP) is a well-known class of methods for solving inverse problems in computational imaging. PnP methods combine physical forward models with learned prior models specified as image denoisers. A common issue with the learned models is that of a performance drop when there is a distribution shift between the training and testing data. Test-time training (TTT) was recently proposed as a general strategy for improving the performance of learned models when training and testing data come from different distributions. In this paper, we propose PnP-TTT as a new method for overcoming distribution shifts in PnP. PnP-TTT uses deep equilibrium learning (DEQ) for optimizing a self-supervised loss at the fixed points of PnP iterations. PnP-TTT can be directly applied on a single test sample to improve the generalization of PnP. We show through simulations that given a sufficient number of measurements, PnP-TTT enables the use of image priors trained on natural images for image reconstruction in magnetic resonance imaging (MRI).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google