SIDME: Self-supervised Image Demoiréing via Masked Encoder-Decoder Reconstruction

要約

オブジェクトライト信号とカメラサンプリング周波数の間のエイリアシングに起因するMoir \ ‘Eパターンは、しばしばキャプチャ中に画質を分解します。
従来のデモワール\ ‘eingメソッドは、一般に、さまざまなカラーチャネルのユニークな信号特性を無視して、処理とトレーニングのために画像全体として扱われています。
さらに、Moir \ ‘eパターン生成のランダム性と変動性は、実際のデータに適用された場合の既存の方法の堅牢性に課題をもたらします。
これらの問題に対処するために、このペーパーでは、Moir \ ‘eパターンを効果的に処理することにより高品質の視覚画像を生成するように設計された新しいモデルであるSidme（Masked Encoder-Decoder Reconstructionを介して自己監視画像デモア\’ Eing）を紹介します。
SIDMEは、マスクされたエンコーダーデコーダーアーキテクチャと自己監視学習と組み合わさって、カメラサンプリング周波数の固有の特性を使用してモデルが画像を再構築できるようにします。
重要なイノベーションは、ランダムなマスクされた画像再構成です。これは、エンコーダデコーダー構造を使用して再構成タスクを処理することです。
さらに、カメラサンプリングのグリーンチャネルは赤と青のチャネルと比較してサンプリング周波数が高いため、特殊な自己監視の損失関数は、トレーニングの効率と有効性を改善するために設計されています。
モデルの一般化能力を確保するために、実際の条件を密接に模倣するデータセットを作成するために、自己監視されたMoir \ ‘eイメージ生成方法が開発されました。
広範な実験は、SIDMEが実際のMoir \ ‘eパターンデータの処理において既存の方法を上回り、その優れた一般化パフォーマンスと堅牢性を示すことを示しています。

要約(オリジナル)

Moir\’e patterns, resulting from aliasing between object light signals and camera sampling frequencies, often degrade image quality during capture. Traditional demoir\’eing methods have generally treated images as a whole for processing and training, neglecting the unique signal characteristics of different color channels. Moreover, the randomness and variability of moir\’e pattern generation pose challenges to the robustness of existing methods when applied to real-world data. To address these issues, this paper presents SIDME (Self-supervised Image Demoir\’eing via Masked Encoder-Decoder Reconstruction), a novel model designed to generate high-quality visual images by effectively processing moir\’e patterns. SIDME combines a masked encoder-decoder architecture with self-supervised learning, allowing the model to reconstruct images using the inherent properties of camera sampling frequencies. A key innovation is the random masked image reconstructor, which utilizes an encoder-decoder structure to handle the reconstruction task. Furthermore, since the green channel in camera sampling has a higher sampling frequency compared to red and blue channels, a specialized self-supervised loss function is designed to improve the training efficiency and effectiveness. To ensure the generalization ability of the model, a self-supervised moir\’e image generation method has been developed to produce a dataset that closely mimics real-world conditions. Extensive experiments demonstrate that SIDME outperforms existing methods in processing real moir\’e pattern data, showing its superior generalization performance and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google