CEN-HDR: Computationally Efficient neural Network for real-time High Dynamic Range imaging

要約

ハイ ダイナミック レンジ (HDR) イメージングは​​、現代のデジタル写真では依然として難しい課題です。
最近の研究では、高品質の取得を提供するソリューションが提案されていますが、非常に多くの操作と遅い推論時間が犠牲になり、これらのソリューションを軽量のリアルタイム システムに実装することはできません。
この論文では、CEN-HDR を提案します。CEN-HDR は、リアルタイム HDR イメージングのためのライト アテンション メカニズムとサブピクセル畳み込み演算に基づく新しいアーキテクチャを提供することにより、計算効率の高い新しいニューラル ネットワークです。
また、知識の蒸留を使用してネットワーク圧縮を適用することにより、効率的なトレーニング スキームを提供します。
私たちは広範な定性的および定量的比較を行い、私たちのアプローチが最先端のソリューションよりも高速でありながら、画質で競争力のある結果を生み出し、リアルタイムの制約の下で実際に展開できることを示しました.
実験結果は、Macbook M1 NPU を使用して 33 FPS のフレームレートで Kalantari2017 データセットで 43.04 mu-PSNR のスコアを取得する方法を示しています。

要約(オリジナル)

High dynamic range (HDR) imaging is still a challenging task in modern digital photography. Recent research proposes solutions that provide high-quality acquisition but at the cost of a very large number of operations and a slow inference time that prevent the implementation of these solutions on lightweight real-time systems. In this paper, we propose CEN-HDR, a new computationally efficient neural network by providing a novel architecture based on a light attention mechanism and sub-pixel convolution operations for real-time HDR imaging. We also provide an efficient training scheme by applying network compression using knowledge distillation. We performed extensive qualitative and quantitative comparisons to show that our approach produces competitive results in image quality while being faster than state-of-the-art solutions, allowing it to be practically deployed under real-time constraints. Experimental results show our method obtains a score of 43.04 mu-PSNR on the Kalantari2017 dataset with a framerate of 33 FPS using a Macbook M1 NPU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google