NeRD: Neural field-based Demosaicking

要約

タイトル：NeRD：ニューラルフィールドベースのデモザイキング法
要約：
– Bayerパターンから完全なカラー画像を生成するための新しいデモザイキング法「NeRD」を紹介する。
– NeRDは、座標ベースのニューラルネットワークを用いて画像を表現し、正弦関数の活性化関数を使用してデモザイキングを行う。
– ネットワークの入力は、空間座標と低解像度のBayerパターンであり、出力は対応するRGB値である。
– ResNetとU-netを組み合わせたエンコーダネットワークにより、画像の暗黙的なニューラル表現を向上させ、事前学習を通じて空間的一貫性を保証する。
– 実験結果は、NeRDが従来のCNNベースのメソッドや最新のトランスフォーマーベースの方法よりも優れており、差を大幅に縮めていることを示している。

要点：
– NeRDはニューラルフィールドを使用したデモザイキング手法。
– BayerパターンからRGB画像を生成する。
– 座標ベースのニューラルネットワークを使用し、正弦関数の活性化関数を採用。
– エンコーダネットワークにより、画像の品質を向上させ、空間的一貫性を保証。
– 従来の方法や最新のトランスフォーマーベースの手法よりも優れていることが実験で示された。

要約(オリジナル)

We introduce NeRD, a new demosaicking method for generating full-color images from Bayer patterns. Our approach leverages advancements in neural fields to perform demosaicking by representing an image as a coordinate-based neural network with sine activation functions. The inputs to the network are spatial coordinates and a low-resolution Bayer pattern, while the outputs are the corresponding RGB values. An encoder network, which is a blend of ResNet and U-net, enhances the implicit neural representation of the image to improve its quality and ensure spatial consistency through prior learning. Our experimental results demonstrate that NeRD outperforms traditional and state-of-the-art CNN-based methods and significantly closes the gap to transformer-based methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI