CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy

要約

計算色の恒常性、または白いバランスは、シーン照明から鋳造された色を修正するカメラの画像信号プロセッサ（ISP）の重要なモジュールです。
この操作はカメラ固有の生の色空間で発生するため、ホワイトバランスアルゴリズムは異なるカメラに適応する必要があります。
このペーパーでは、再訓練なしで新しいカメラに一般化するカメラ色の恒常性の学習ベースの方法を紹介します。
私たちの方法は、カメラの生の色空間を標準空間（Cie XYZなど）にマッピングするISPで利用可能な事前調整色補正マトリックス（CCM）を活用します。
私たちの方法では、これらのCCMを使用して、事前定義された照明の色（つまり、プランキアの遺伝子座に沿って）をテストカメラの生空間に変換します。
マッピングされた照明薬は、ネットワークが目に見えないカメラに適応できるようにするコンパクトカメラ指紋埋め込み（CFE）にエンコードされます。
トレーニング中に制限されたカメラとCCMSによる過剰フィッティングを防ぐために、カメラとCCMの間で補間するデータ増強技術を導入します。
複数のデータセットとバックボーンにわたる実験結果は、この方法が最先端のクロスカメラ色の恒常性を達成し、軽量であり、カメラISPで容易に入手できるデータにのみ依存することを示しています。

要約(オリジナル)

Computational color constancy, or white balancing, is a key module in a camera’s image signal processor (ISP) that corrects color casts from scene lighting. Because this operation occurs in the camera-specific raw color space, white balance algorithms must adapt to different cameras. This paper introduces a learning-based method for cross-camera color constancy that generalizes to new cameras without retraining. Our method leverages pre-calibrated color correction matrices (CCMs) available on ISPs that map the camera’s raw color space to a standard space (e.g., CIE XYZ). Our method uses these CCMs to transform predefined illumination colors (i.e., along the Planckian locus) into the test camera’s raw space. The mapped illuminants are encoded into a compact camera fingerprint embedding (CFE) that enables the network to adapt to unseen cameras. To prevent overfitting due to limited cameras and CCMs during training, we introduce a data augmentation technique that interpolates between cameras and their CCMs. Experimental results across multiple datasets and backbones show that our method achieves state-of-the-art cross-camera color constancy while remaining lightweight and relying only on data readily available in camera ISPs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google