Boosting HDR Image Reconstruction via Semantic Knowledge Transfer

要約

LDR画像が顕著な分解と欠落コンテンツを示すと、複数の低ダイナミックレンジ（LDR）画像から高いダイナミックレンジ（HDR）画像を回復することが困難になります。
シーン固有のセマンティックプライアーズを活用すると、大幅に劣化した地域を復元するための有望なソリューションが提供されます。
ただし、これらのプライアーは通常、SRGB標準ダイナミックレンジ（SDR）画像から抽出されます。ドメイン/フォーマットギャップは、HDRイメージングに適用する際に大きな課題をもたらします。
この問題に対処するために、既存のHDR再構成を強化するために、自己抵抗を介してSDRドメインから派生したセマンティック知識を転送する一般的なフレームワークを提案します。
具体的には、提案されたフレームワークでは、最初にSMNACT PRIORS Guided Reconstruction Model（SPGRM）を導入します。これは、SDR画像セマンティック知識を活用して、初期のHDR再構成結果の不適切な問題に対処します。
その後、ベースラインとSPGRMの間の外部出力を整列させ、セマンティック知識を備えた色とコンテンツ情報を制約する自己抵抗メカニズムを活用します。
さらに、内部機能のセマンティック知識を転送するために、セマンティックナレッジアラインメントモジュール（SKAM）を利用して、欠落しているセマンティックコンテンツを補完的なマスクで埋めます。
広範な実験は、我々の方法が既存の方法のHDRイメージング品質を大幅に改善できることを示しています。

要約(オリジナル)

Recovering High Dynamic Range (HDR) images from multiple Low Dynamic Range (LDR) images becomes challenging when the LDR images exhibit noticeable degradation and missing content. Leveraging scene-specific semantic priors offers a promising solution for restoring heavily degraded regions. However, these priors are typically extracted from sRGB Standard Dynamic Range (SDR) images, the domain/format gap poses a significant challenge when applying it to HDR imaging. To address this issue, we propose a general framework that transfers semantic knowledge derived from SDR domain via self-distillation to boost existing HDR reconstruction. Specifically, the proposed framework first introduces the Semantic Priors Guided Reconstruction Model (SPGRM), which leverages SDR image semantic knowledge to address ill-posed problems in the initial HDR reconstruction results. Subsequently, we leverage a self-distillation mechanism that constrains the color and content information with semantic knowledge, aligning the external outputs between the baseline and SPGRM. Furthermore, to transfer the semantic knowledge of the internal features, we utilize a semantic knowledge alignment module (SKAM) to fill the missing semantic contents with the complementary masks. Extensive experiments demonstrate that our method can significantly improve the HDR imaging quality of existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google