Toward Moiré-Free and Detail-Preserving Demosaicking

要約

3D 畳み込みは、他の画像復元問題を解決するのと同じ方法で、ニューラル モデルのデモザイクによく使用されます。
直観に反しますが、3D 畳み込みは RGB カラースペクトルの相補情報の交換を暗黙的に妨げ、その結果、局所的な空間高周波成分のスペクトルの不整合な推論が生じることを示します。
その結果、浅い 3D 畳み込みネットワークではモアレ アーティファクトが発生しますが、深い 3D 畳み込みでは過剰な滑らかさが発生します。
私たちは、デモザイクと、利用可能なピクセル間で失われたピクセルを予測する他の問題 (超解像再構築など) との根本的な違いを分析し、モアレフリーとディテール保持の間の矛盾の根本的な理由を示します。
新しい観点から、私たちの研究は、共通の標準畳み込み手順をスペクトルおよび空間特徴の集合に切り離し、空間次元での局所的なコントラストを尊重しながら、スペクトル次元でのグローバルなコミュニケーションを強化することを可能にします。
デモザイク モデルを 2 つのタスク (共同デモザイク – ノイズ除去と独立デモザイク) に適用します。
どちらのアプリケーションでも、さまざまな評価によって検証されているように、私たちのモデルは、現在最高のパフォーマンスを誇るモデルと同等またはより低い計算コストで、モアレや過度の滑らかさなどのアーティファクトを大幅に軽減します。
ソースコードは紙の出版と同時に公開されます。

要約(オリジナル)

3D convolutions are commonly employed by demosaicking neural models, in the same way as solving other image restoration problems. Counter-intuitively, we show that 3D convolutions implicitly impede the RGB color spectra from exchanging complementary information, resulting in spectral-inconsistent inference of the local spatial high frequency components. As a consequence, shallow 3D convolution networks suffer the Moir\’e artifacts, but deep 3D convolutions cause over-smoothness. We analyze the fundamental difference between demosaicking and other problems that predict lost pixels between available ones (e.g., super-resolution reconstruction), and present the underlying reasons for the confliction between Moir\’e-free and detail-preserving. From the new perspective, our work decouples the common standard convolution procedure to spectral and spatial feature aggregations, which allow strengthening global communication in the spectral dimension while respecting local contrast in the spatial dimension. We apply our demosaicking model to two tasks: Joint Demosaicking-Denoising and Independently Demosaicking. In both applications, our model substantially alleviates artifacts such as Moir\’e and over-smoothness at similar or lower computational cost to currently top-performing models, as validated by diverse evaluations. Source code will be released along with paper publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google