Towards a General-Purpose Zero-Shot Synthetic Low-Light Image and Video Pipeline

要約

低光の条件は、人間と機械の両方の注釈に大きな課題をもたらします。
これにより、低光度画像、特に（特に）ビデオの機械の理解に関する研究が不足しています。
一般的なアプローチは、高品質のデータセットから得られた注釈を合成的に作成した低光バージョンに適用することです。
さらに、これらのアプローチは、非現実的なノイズモデルを使用することにより、しばしば制限されています。
この論文では、カメラメタデータを必要とせずに現実的な標準RGB（SRGB）ノイズを合成する合成的に生成する新しい劣化推定ネットワーク（DEN）を提案します。
これは、物理学に基づいたノイズ分布のパラメーターを推定することで達成され、自己補助的な方法で訓練されています。
このゼロショットアプローチにより、トレーニングデータのノイズ特性の再現に焦点を当てた他の方法とは異なり、さまざまな範囲の現実的なノイズ特性を備えた合成ノイズの多いコンテンツを生成できます。
合成ノイズの複製、ビデオ強化、オブジェクト検出などの典型的な低光タスクの合成データでトレーニングされたさまざまな方法を使用して、提案された合成パイプラインを評価し、それぞれ最大24 \％kld、21 \％lpips、および62 \％ap $ _ {50-95} $の改善を示します。

要約(オリジナル)

Low-light conditions pose significant challenges for both human and machine annotation. This in turn has led to a lack of research into machine understanding for low-light images and (in particular) videos. A common approach is to apply annotations obtained from high quality datasets to synthetically created low light versions. In addition, these approaches are often limited through the use of unrealistic noise models. In this paper, we propose a new Degradation Estimation Network (DEN), which synthetically generates realistic standard RGB (sRGB) noise without the requirement for camera metadata. This is achieved by estimating the parameters of physics-informed noise distributions, trained in a self-supervised manner. This zero-shot approach allows our method to generate synthetic noisy content with a diverse range of realistic noise characteristics, unlike other methods which focus on recreating the noise characteristics of the training data. We evaluate our proposed synthetic pipeline using various methods trained on its synthetic data for typical low-light tasks including synthetic noise replication, video enhancement, and object detection, showing improvements of up to 24\% KLD, 21\% LPIPS, and 62\% AP$_{50-95}$, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google