Practical cross-sensor color constancy using a dual-mapping strategy

要約

ディープ ニューラル ネットワーク (DNN) は照度推定に広く使用されていますが、これには時間がかかり、センサー固有のデータ収集が必要です。
私たちが提案する方法はデュアル マッピング戦略を使用し、D65 条件下でテスト センサーからの単純な白色点のみを必要とします。
これにより、マッピング行列を導出し、画像データと光源の再構成が可能になります。
2 番目のマッピング フェーズでは、再構築された画像データをまばらな特徴に変換し、再構築された光源をグラウンド トゥルースとして使用する軽量多層パーセプトロン (MLP) モデルで最適化します。
このアプローチはセンサーの不一致を効果的に削減し、主要なクロスセンサー方式と同等のパフォーマンスを実現します。
必要なメモリは少量 (約 0.003 MB) のみで、RTX3070Ti GPU でのトレーニングには約 1 時間かかります。
さらに重要なのは、この方法は非常に高速に実装でき、GPU または CPU ではそれぞれ ~0.3 ミリ秒と ~1 ミリ秒であり、入力画像の解像度の影響を受けません。
したがって、業界が直面しているデータ記憶の大きな課題に対する実用的な解決策を提供します。

要約(オリジナル)

Deep Neural Networks (DNNs) have been widely used for illumination estimation, which is time-consuming and requires sensor-specific data collection. Our proposed method uses a dual-mapping strategy and only requires a simple white point from a test sensor under a D65 condition. This allows us to derive a mapping matrix, enabling the reconstructions of image data and illuminants. In the second mapping phase, we transform the re-constructed image data into sparse features, which are then optimized with a lightweight multi-layer perceptron (MLP) model using the re-constructed illuminants as ground truths. This approach effectively reduces sensor discrepancies and delivers performance on par with leading cross-sensor methods. It only requires a small amount of memory (~0.003 MB), and takes ~1 hour training on an RTX3070Ti GPU. More importantly, the method can be implemented very fast, with ~0.3 ms and ~1 ms on a GPU or CPU respectively, and is not sensitive to the input image resolution. Therefore, it offers a practical solution to the great challenges of data recollection that is faced by the industry.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google