Multi-scale HSV Color Feature Embedding for High-fidelity NIR-to-RGB Spectrum Translation

要約

NIR から RGB へのスペクトル ドメインの変換は、NIR 入力と RGB 出力内に固有のスペクトル マッピングのあいまいさがあるため、非常に困難な作業です。
したがって、既存の方法では、テクスチャの細部の忠実性を維持することと、多様な色のバリエーションを達成することとの間の緊張関係を調和させることができていない。
この論文では、マッピング プロセスを NIR テクスチャの維持、粗いジオメトリの再構築、RGB カラー予測を含む 3 つのサブタスクに分解するマルチスケール HSV カラー特徴埋め込みネットワーク (MCFNet) を提案します。
したがって、対応するサブタスクごとに、テクスチャ保存ブロック (TPB)、HSV カラー特徴埋め込みモジュール (HSV-CFEM)、およびジオメトリ再構成モジュール (GRM) の 3 つの主要なモジュールを提案します。
これらのモジュールは、MCFNet が一連の段階的に上昇する解像度を通じてスペクトル変換に体系的に取り組み、スケール一貫した方法で画像の色とテクスチャの忠実度を段階的に強化することに貢献します。
提案された MCFNet は、NIR 画像の色付けタスクに比べて大幅なパフォーマンスの向上を示しています。
コードは https://github.com/AlexYangxx/MCFNet でリリースされています。

要約(オリジナル)

The NIR-to-RGB spectral domain translation is a formidable task due to the inherent spectral mapping ambiguities within NIR inputs and RGB outputs. Thus, existing methods fail to reconcile the tension between maintaining texture detail fidelity and achieving diverse color variations. In this paper, we propose a Multi-scale HSV Color Feature Embedding Network (MCFNet) that decomposes the mapping process into three sub-tasks, including NIR texture maintenance, coarse geometry reconstruction, and RGB color prediction. Thus, we propose three key modules for each corresponding sub-task: the Texture Preserving Block (TPB), the HSV Color Feature Embedding Module (HSV-CFEM), and the Geometry Reconstruction Module (GRM). These modules contribute to our MCFNet methodically tackling spectral translation through a series of escalating resolutions, progressively enriching images with color and texture fidelity in a scale-coherent fashion. The proposed MCFNet demonstrates substantial performance gains over the NIR image colorization task. Code is released at: https://github.com/AlexYangxx/MCFNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google