MSSIDD: A Benchmark for Multi-Sensor Denoising

要約

モバイル端末に装備されたカメラは、異なる写真モードで異なるセンサーを使用しており、これらのセンサー間での生のドメインノイズ除去モデルの転送可能性は重要ですが、まだ十分な調査が必要です。
産業用ソリューションは、さまざまなセンサー向けに個別のトレーニング戦略とモデルを開発するか、センサー間の違いを無視して既存のモデルを新しいセンサーに単純に拡張するかのどちらかであり、これにより、退屈なトレーニングや満足のいくパフォーマンスが得られません。
このペーパーでは、新しいベンチマークであるマルチセンサー SIDD (MSSIDD) データセットを紹介します。これは、ノイズ除去モデルのセンサー伝達性を評価するために設計された初の生ドメイン データセットです。
MSSIDD データセットは、6 つの異なるセンサーの 60,000 枚の生画像で構成されており、さまざまなカメラ センサー パラメーターによる sRGB 画像の縮退によって得られます。
さらに、ノイズ除去モデルがセンサー不変の特徴を学習できるようにするセンサー一貫性トレーニング フレームワークを提案します。これにより、目に見えないセンサーに対する一貫性のあるモデルの一般化が容易になります。
新しく提案された MSSIDD データセットに関する従来技術を評価し、実験結果により提案された方法の有効性が検証されました。
私たちのデータセットは https://www.kaggle.com/datasets/sjtuwh/mssidd で入手できます。

要約(オリジナル)

The cameras equipped on mobile terminals employ different sensors in different photograph modes, and the transferability of raw domain denoising models between these sensors is significant but remains sufficient exploration. Industrial solutions either develop distinct training strategies and models for different sensors or ignore the differences between sensors and simply extend existing models to new sensors, which leads to tedious training or unsatisfactory performance. In this paper, we introduce a new benchmark, the Multi-Sensor SIDD (MSSIDD) dataset, which is the first raw-domain dataset designed to evaluate the sensor transferability of denoising models. The MSSIDD dataset consists of 60,000 raw images of six distinct sensors, derived through the degeneration of sRGB images via different camera sensor parameters. Furthermore, we propose a sensor consistency training framework that enables denoising models to learn the sensor-invariant features, thereby facilitating the generalization of the consistent model to unseen sensors. We evaluate previous arts on the newly proposed MSSIDD dataset, and the experimental results validate the effectiveness of our proposed method. Our dataset is available at https://www.kaggle.com/datasets/sjtuwh/mssidd.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google