Uncertainty-Aware Source-Free Adaptive Image Super-Resolution with Wavelet Augmentation Transformer

要約

教師なしドメイン適応 (UDA) は、ソース データとターゲット データの両方にアクセスすることで、現実世界の画像の超​​解像度 (SR) におけるドメイン ギャップの問題に効果的に対処できます。
実際のシナリオにおけるソースデータのプライバシーポリシーや送信制限を考慮して、この問題に対処するために、ソースフリーの画像SRドメイン適応フレームワーク（SODA-SR）を提案します。つまり、ソースでトレーニングされたモデルを、ラベルのないターゲットドメインに適応させます。
対象のデータ。
SODA-SR は、ソースでトレーニングされたモデルを活用して、教師と生徒の学習用に洗練された疑似ラベルを生成します。
擬似ラベルをより有効に活用するために、既存のネットワークに柔軟に組み込んで有用な拡張データを暗黙的に生成できる、Wavelet Augmentation Transformer (WAT) と呼ばれる新しいウェーブレットベースの拡張方法を提案します。
WAT は、多様なサンプルにわたるさまざまなレベルの低周波情報を学習し、変形可能な注意を通じて効率的に集約されます。
さらに、不正確な予測が不確実性推定によって修正され、疑似ラベルの精度を向上させるために、不確実性を認識した自己トレーニングメカニズムが提案されています。
より良い SR 結果を取得し、擬似ラベルの過剰適合を回避するために、周波数領域でターゲットの LR および SR 画像を制約するいくつかの正則化損失が提案されています。
実験の結果、SODA-SRは、ソースデータにアクセスしなくても、合成$\rightarrow$realおよびreal$\rightarrow$real適応設定の両方で最先端のUDA手法よりも優れたパフォーマンスを示し、特定のネットワークアーキテクチャに制約されないことが示されています。

要約(オリジナル)

Unsupervised Domain Adaptation (UDA) can effectively address domain gap issues in real-world image Super-Resolution (SR) by accessing both the source and target data. Considering privacy policies or transmission restrictions of source data in practical scenarios, we propose a SOurce-free Domain Adaptation framework for image SR (SODA-SR) to address this issue, i.e., adapt a source-trained model to a target domain with only unlabeled target data. SODA-SR leverages the source-trained model to generate refined pseudo-labels for teacher-student learning. To better utilize pseudo-labels, we propose a novel wavelet-based augmentation method, named Wavelet Augmentation Transformer (WAT), which can be flexibly incorporated with existing networks, to implicitly produce useful augmented data. WAT learns low-frequency information of varying levels across diverse samples, which is aggregated efficiently via deformable attention. Furthermore, an uncertainty-aware self-training mechanism is proposed to improve the accuracy of pseudo-labels, with inaccurate predictions being rectified by uncertainty estimation. To acquire better SR results and avoid overfitting pseudo-labels, several regularization losses are proposed to constrain target LR and SR images in the frequency domain. Experiments show that without accessing source data, SODA-SR outperforms state-of-the-art UDA methods in both synthetic$\rightarrow$real and real$\rightarrow$real adaptation settings, and is not constrained by specific network architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google