Multi-scale Progressive Feature Embedding for Accurate NIR-to-RGB Spectral Domain Translation

要約

NIR から RGB へのスペクトル領域の変換は、マッピングの曖昧さのため困難な作業であり、既存の方法では学習能力が限られています。
これらの課題に対処するために、グレースケール画像の色付けのガイダンスに従って、マルチスケール プログレッシブ機能埋め込みネットワーク (MPFNet) を介して NIR 画像を色付けすることを提案します。
具体的には、まず、NIR ソース画像をグレースケール ターゲット ドメインに変換するドメイン変換モジュールを導入します。
プログレッシブ トレーニング戦略を組み込むことにより、両方のタスク ドメインからの統計的および意味論的な知識が、一連のピクセル レベルおよび特徴レベルの一貫性制約と効率的に調整されます。
さらに、マルチスケールのプログレッシブ機能埋め込みネットワークは、学習機能を向上させるように設計されています。
実験によると、当社の MPFNet は、PSNR の観点から、NIR から RGB へのスペクトル ドメイン変換タスクにおいて、最先端の同等製品よりも 2.55 dB 優れていることがわかりました。

要約(オリジナル)

NIR-to-RGB spectral domain translation is a challenging task due to the mapping ambiguities, and existing methods show limited learning capacities. To address these challenges, we propose to colorize NIR images via a multi-scale progressive feature embedding network (MPFNet), with the guidance of grayscale image colorization. Specifically, we first introduce a domain translation module that translates NIR source images into the grayscale target domain. By incorporating a progressive training strategy, the statistical and semantic knowledge from both task domains are efficiently aligned with a series of pixel- and feature-level consistency constraints. Besides, a multi-scale progressive feature embedding network is designed to improve learning capabilities. Experiments show that our MPFNet outperforms state-of-the-art counterparts by 2.55 dB in the NIR-to-RGB spectral domain translation task in terms of PSNR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google