A Flexible Framework for Universal Computational Aberration Correction via Automatic Lens Library Generation and Domain Adaptation

要約

新しい普遍的な計算収差補正 (CAC) パラダイムは、新しいレンズ設計に対応するためにデータの準備やモデルのトレーニングを繰り返すことなく、軽量で高品質のイメージングに対する刺激的なソリューションを提供します。
ただし、これらのアプローチのトレーニング データベース、つまりレンズ ライブラリ (LensLib) は、現実世界の収差挙動の範囲が限られているという問題があります。
この研究では、汎化能力と柔軟性の両方を考慮して、ユニバーサル CAC のための OmniLens フレームワークをセットアップしました。
OmniLens は、ユニバーサル CAC のアイデアをより広い概念に拡張します。そこでは、事前トレーニング済みモデルを使用したゼロショット CAC、微調整用のレンズ固有の少量のデータを使用した少数ショット CAC を含む、ベース モデルが 3 つのケースに合わせてトレーニングされます。
および、レンズの説明が不明なレンズに対するドメイン適応を使用するドメイン適応型 CAC。
OmniLens のデータ基盤に関しては、最初に、現実的な収差を達成するための包括的な制約とハイブリッド最適化戦略を備えた、進化フレームワークによって多様性が強化された LensLib (造語 AODLib) を自動的に構築するための進化ベースの自動光学設計 (EAOD) パイプラインを提案します。
行動。
ネットワーク設計では、ゼロショット CAC と少数ショット CAC を容易にする高品質コードブック事前のガイダンスを導入します。これにより、モデルの汎化能力が強化され、同時に少数ショットの場合の収束性も向上します。
さらに、光学劣化におけるダークチャネル事前分布の統計的観察に基づいて、グランドトゥルースのない収差画像を使用して、ベースモデルをターゲットの説明が不明なレンズに適応させる教師なし正則化項を設計します。
さまざまな構造と収差挙動を備えた、手動で設計された 4 つのローエンド レンズで OmniLens を検証します。
注目すべきことに、AODLib でトレーニングされたベース モデルは強力な一般化機能を示し、ゼロショット設定でレンズ固有のパフォーマンスの 97% を達成します。

要約(オリジナル)

Emerging universal Computational Aberration Correction (CAC) paradigms provide an inspiring solution to light-weight and high-quality imaging without repeated data preparation and model training to accommodate new lens designs. However, the training databases in these approaches, i.e., the lens libraries (LensLibs), suffer from their limited coverage of real-world aberration behaviors. In this work, we set up an OmniLens framework for universal CAC, considering both the generalization ability and flexibility. OmniLens extends the idea of universal CAC to a broader concept, where a base model is trained for three cases, including zero-shot CAC with the pre-trained model, few-shot CAC with a little lens-specific data for fine-tuning, and domain adaptive CAC using domain adaptation for lens-descriptions-unknown lens. In terms of OmniLens’s data foundation, we first propose an Evolution-based Automatic Optical Design (EAOD) pipeline to construct LensLib automatically, coined AODLib, whose diversity is enriched by an evolution framework, with comprehensive constraints and a hybrid optimization strategy for achieving realistic aberration behaviors. For network design, we introduce the guidance of high-quality codebook priors to facilitate zero-shot CAC and few-shot CAC, which enhances the model’s generalization ability, while also boosting its convergence in a few-shot case. Furthermore, based on the statistical observation of dark channel priors in optical degradation, we design an unsupervised regularization term to adapt the base model to the target descriptions-unknown lens using its aberration images without ground truth. We validate OmniLens on 4 manually designed low-end lenses with various structures and aberration behaviors. Remarkably, the base model trained on AODLib exhibits strong generalization capabilities, achieving 97% of the lens-specific performance in a zero-shot setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google