Towards Realistic Low-Light Image Enhancement via ISP Driven Data Modeling

要約

ディープニューラルネットワーク（DNNS）は、最近、低照度画像強化（LLIE）の主要な方法となっています。
ただし、大幅な進歩にもかかわらず、それらの出力は、増幅されたノイズ、ホワイトバランスの誤ったバランス、または実際のアプリケーションに展開されたときの不自然な強化などの問題を依然として示している可能性があります。
重要な課題は、低光条件とイメージングパイプラインの複雑さをキャプチャする多様で大規模なトレーニングデータの欠如です。
この論文では、無制限のペアトレーニングデータを生成することにより、これらの課題に対処する新しい画像信号処理（ISP）駆動型のデータ合成パイプラインを提案します。
具体的には、私たちのパイプラインは、簡単に収集された高品質の通常の光画像から始まります。これは、逆ISPを使用して最初に未加工の形式に処理されていません。
次に、生ドメインで直接低光の分解を合成します。
その後、結果のデータは、ホワイトバランスの調整、カラースペース変換、トーンマッピング、ガンマ補正などの一連のISP段階を通じて処理され、各段階で導入された制御バリエーションが導入されます。
これにより、分解空間が広がり、トレーニングデータの多様性が向上し、生成されたデータがISPパイプラインに固有の広範な劣化と複雑さをキャプチャできるようにします。
合成パイプラインの有効性を実証するために、畳み込み層、グループ正規化、GELU活性化、および畳み込みブロック注意モジュール（CBAM）のみで構成されるバニラUNETモデルを使用して、広範な実験を実施します。
複数のデータセットにわたる広範なテストにより、データシンセシスパイプラインで訓練されたバニラUNETモデルが、視覚的に魅力的な強化結果を提供し、定量的および定性的に最先端の（SOTA）メソッドを上回ることが明らかになりました。

要約(オリジナル)

Deep neural networks (DNNs) have recently become the leading method for low-light image enhancement (LLIE). However, despite significant progress, their outputs may still exhibit issues such as amplified noise, incorrect white balance, or unnatural enhancements when deployed in real world applications. A key challenge is the lack of diverse, large scale training data that captures the complexities of low-light conditions and imaging pipelines. In this paper, we propose a novel image signal processing (ISP) driven data synthesis pipeline that addresses these challenges by generating unlimited paired training data. Specifically, our pipeline begins with easily collected high-quality normal-light images, which are first unprocessed into the RAW format using a reverse ISP. We then synthesize low-light degradations directly in the RAW domain. The resulting data is subsequently processed through a series of ISP stages, including white balance adjustment, color space conversion, tone mapping, and gamma correction, with controlled variations introduced at each stage. This broadens the degradation space and enhances the diversity of the training data, enabling the generated data to capture a wide range of degradations and the complexities inherent in the ISP pipeline. To demonstrate the effectiveness of our synthetic pipeline, we conduct extensive experiments using a vanilla UNet model consisting solely of convolutional layers, group normalization, GeLU activation, and convolutional block attention modules (CBAMs). Extensive testing across multiple datasets reveals that the vanilla UNet model trained with our data synthesis pipeline delivers high fidelity, visually appealing enhancement results, surpassing state-of-the-art (SOTA) methods both quantitatively and qualitatively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google