Image Demoireing in RAW and sRGB Domains

要約

スマートフォンやカメラで画面をキャプチャするときにモアレ パターンが頻繁に発生し、画質が損なわれる可能性があります。
以前の研究では、RAW ドメインでのモアレ パターンの除去は、sRGB ドメインでのデモアレ処理と比較して効率が高いことが示唆されています。
それにもかかわらず、画像デモワールの生データのみに依存することは、画像信号プロセッサ (ISP) による色補正に必要な重要な情報が欠如しているため、色かぶりを軽減するには不十分です。
このペーパーでは、スマートフォンとデジタル カメラの両方で簡単にアクセスできる RAW データと sRGB データ (RRID) の両方を同時に利用してイメージ デモワールを実行することを提案します。
私たちは、スキップ接続に埋め込まれた特定のモジュールを備えたスキップ接続ベースのデモワール モジュール (SCDM) を開発し、RAW 機能と sRGB 機能をそれぞれ効率的かつ効果的にデモワールします。
続いて、ISP 段階で粗くデモワールされた sRGB 特徴から色情報を組み込み、色回復のプロセスを支援する RGB Guided Image Signal Processor (RGISP) を提案します。
広範な実験により、当社の RRID は最先端のアプローチを PSNR で 0.62dB、SSIM で 0.003 上回り、モアレ パターンの除去と色かぶり補正の両方で優れたパフォーマンスを示すことが実証されました。

要約(オリジナル)

Moir\’e patterns frequently appear when capturing screens with smartphones or cameras, potentially compromising image quality. Previous studies suggest that moir\’e pattern elimination in the RAW domain offers greater efficiency compared to demoir\’eing in the sRGB domain. Nevertheless, relying solely on raw data for image demoir\’eing is insufficient in mitigating color cast due to the absence of essential information required for color correction by the Image Signal Processor (ISP). In this paper, we propose perform Image Demoir\’eing concurrently utilizing both RAW and sRGB data (RRID), which is readily accessible in both smartphones and digital cameras. We develop Skip-Connection-based Demoir\’eing Module (SCDM) with specific modules embeded in skip-connections for the efficient and effective demoir\’eing of RAW and sRGB features, respectively. Subsequently, we propose RGB Guided Image Signal Processor (RGISP) to incorporate color information from coarsely demoir\’ed sRGB features during the ISP stage, assisting the process of color recovery. Extensive experiments demonstrate that our RRID outperforms state-of-the-art approaches by 0.62dB in PSNR and 0.003 in SSIM, exhibiting superior performance both in moir\’e pattern removal and color cast correction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google