Real-World Computational Aberration Correction via Quantized Domain-Mixing Representation

要約

ペアの合成データに依存する既存の学習ベースの計算収差補正 (CAC) 手法は、複雑で多面的な合成領域と実領域のギャップに直面しており、それが現実世界のアプリケーションで最適以下のパフォーマンスをもたらします。
このペーパーでは、シミュレーション パイプラインの改善とは対照的に、教師なしドメイン適応 (UDA) の観点から現実世界の CAC に対する新しい洞察を提供します。
すぐにアクセスできる対になっていない実世界データをトレーニングに組み込むことで、ドメイン適応型 CAC (DACAC) タスクを形式化し、それをベンチマークするための包括的な実世界収差画像 (Realab) データセットを導入します。
ターゲットの収差領域を理解することが複雑なため、セットアップ タスクは非常に困難な課題となります。
この目的のために、我々は、この問題の強力な解決策として、新しい量子化ドメイン混合表現 (QDMR) フレームワークを提案します。
QDMR は、次の 3 つの主要な側面から CAC モデルをターゲット ドメインに適応させます。(1) VQGAN によって両方のドメインの異常画像を再構築し、劣化を認識した事前分布を特徴付けるドメイン混合コードブック (DMC) を学習します。
(2) DMC を使用して CAC モデルの深い特徴を調整し、ターゲット ドメインの知識を転送します。
(3) トレーニングされた VQGAN を利用して、ソース画像から疑似ターゲットの異常画像を生成し、ターゲット ドメインの監視を説得します。
合成ベンチマークと現実世界のベンチマークの両方に関する広範な実験により、QDMR を使用したモデルは、合成と現実のギャップの緩和において競合手法を常に上回っており、アーティファクトが少なく、視覚的に快適な現実世界の CAC 結果が得られることが明らかになりました。
コードとデータセットは一般に公開されます。

要約(オリジナル)

Relying on paired synthetic data, existing learning-based Computational Aberration Correction (CAC) methods are confronted with the intricate and multifaceted synthetic-to-real domain gap, which leads to suboptimal performance in real-world applications. In this paper, in contrast to improving the simulation pipeline, we deliver a novel insight into real-world CAC from the perspective of Unsupervised Domain Adaptation (UDA). By incorporating readily accessible unpaired real-world data into training, we formalize the Domain Adaptive CAC (DACAC) task, and then introduce a comprehensive Real-world aberrated images (Realab) dataset to benchmark it. The setup task presents a formidable challenge due to the intricacy of understanding the target aberration domain. To this intent, we propose a novel Quntized Domain-Mixing Representation (QDMR) framework as a potent solution to the issue. QDMR adapts the CAC model to the target domain from three key aspects: (1) reconstructing aberrated images of both domains by a VQGAN to learn a Domain-Mixing Codebook (DMC) which characterizes the degradation-aware priors; (2) modulating the deep features in CAC model with DMC to transfer the target domain knowledge; and (3) leveraging the trained VQGAN to generate pseudo target aberrated images from the source ones for convincing target domain supervision. Extensive experiments on both synthetic and real-world benchmarks reveal that the models with QDMR consistently surpass the competitive methods in mitigating the synthetic-to-real gap, which produces visually pleasant real-world CAC results with fewer artifacts. Codes and datasets will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google