Representing Domain-Mixing Optical Degradation for Real-World Computational Aberration Correction via Vector Quantization

要約

ペアの合成データに依存する既存の学習ベースの計算収差補正 (CAC) 手法は、複雑で多面的な合成領域と実領域のギャップに直面しており、それが現実世界のアプリケーションで最適以下のパフォーマンスをもたらします。
このペーパーでは、シミュレーション パイプラインの改善とは対照的に、教師なしドメイン適応 (UDA) の観点から現実世界の CAC に対する新しい洞察を提供します。
すぐにアクセスできる対になっていない実世界データをトレーニングに組み込むことで、ドメイン適応型 CAC (DACAC) タスクを形式化し、それをベンチマークするための包括的な実世界収差画像 (Realab) データセットを導入します。
セットアップ作業は、ターゲットの光劣化ドメインを理解することが複雑なため、非常に困難な課題となります。
この目的のために、我々は、この問題の有力な解決策として、新しい量子化ドメイン混合表現 (QDMR) フレームワークを提案します。
QDMR は、さまざまな画像間で一貫した光学劣化の表現と量子化を中心に、次の 3 つの重要な側面から CAC モデルをターゲット ドメインに適応させます。 (1) VQGAN によって両方のドメインの収差のある画像を再構築し、ドメイン混合コードブック (DMC) を学習します。
）光学的劣化を特徴づける。
(2) DMC を使用して CAC モデルの深い特徴を調整し、ターゲット ドメインの知識を転送します。
(3) トレーニングされた VQGAN を利用して、ソース画像から疑似ターゲットの異常画像を生成し、ターゲット ドメインの監視を説得します。
合成ベンチマークと現実世界のベンチマークの両方に関する広範な実験により、QDMR を使用したモデルは、合成と現実のギャップの緩和において競合手法を常に上回っており、アーティファクトが少なく、視覚的に快適な現実世界の CAC 結果が得られることが明らかになりました。
コードとデータセットは https://github.com/zju-jiangqi/QDMR で公開されています。

要約(オリジナル)

Relying on paired synthetic data, existing learning-based Computational Aberration Correction (CAC) methods are confronted with the intricate and multifaceted synthetic-to-real domain gap, which leads to suboptimal performance in real-world applications. In this paper, in contrast to improving the simulation pipeline, we deliver a novel insight into real-world CAC from the perspective of Unsupervised Domain Adaptation (UDA). By incorporating readily accessible unpaired real-world data into training, we formalize the Domain Adaptive CAC (DACAC) task, and then introduce a comprehensive Real-world aberrated images (Realab) dataset to benchmark it. The setup task presents a formidable challenge due to the intricacy of understanding the target optical degradation domain. To this intent, we propose a novel Quantized Domain-Mixing Representation (QDMR) framework as a potent solution to the issue. Centering around representing and quantizing the optical degradation which is consistent across different images, QDMR adapts the CAC model to the target domain from three key aspects: (1) reconstructing aberrated images of both domains by a VQGAN to learn a Domain-Mixing Codebook (DMC) characterizing the optical degradation; (2) modulating the deep features in CAC model with DMC to transfer the target domain knowledge; and (3) leveraging the trained VQGAN to generate pseudo target aberrated images from the source ones for convincing target domain supervision. Extensive experiments on both synthetic and real-world benchmarks reveal that the models with QDMR consistently surpass the competitive methods in mitigating the synthetic-to-real gap, which produces visually pleasant real-world CAC results with fewer artifacts. Codes and datasets are made publicly available at https://github.com/zju-jiangqi/QDMR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google