Jointly Optimizing Image Compression with Low-light Image Enhancement

要約

学習ベースの画像圧縮法は大きな進歩を遂げている。そのほとんどは、一般的な自然画像を対象として設計されている。実際、低照度画像は、不十分な照明や限られた露光時間など、避けられない環境の影響や技術的な制約によって頻繁に発生します。汎用の画像圧縮アルゴリズムで低照度画像を圧縮すると、有用なディテール情報が失われ、その結果、画像の鮮明度が劇的に低下します。既存の一般的な画像圧縮アプローチによって低照度画像が圧縮されると、有用な情報（例えば、テクスチャの詳細）が失われ、低照度画像強調のパフォーマンスが劇的に低下します。低照度画像に対して、より高い圧縮率とより優れた強調性能を同時に達成するために、我々は、低照度画像強調の共同最適化を伴う新しい画像圧縮フレームワークを提案する。我々は、より低い計算コストでエンドツーエンドの学習可能な2分岐アーキテクチャを設計し、これにはメインのエンハンスメント分岐とSNRを考慮した分岐が含まれる。実験結果は、我々の提案する共同最適化フレームワークが、低照度画像に対する既存の「エンハンス前に圧縮」または「圧縮前にエンハンス」の逐次的なソリューションよりも大幅な改善を達成することを示している。ソースコードは補足資料に含まれています。

要約(オリジナル)

Learning-based image compression methods have made great progress. Most of them are designed for generic natural images. In fact, low-light images frequently occur due to unavoidable environmental influences or technical limitations, such as insufficient lighting or limited exposure time. %When general-purpose image compression algorithms compress low-light images, useful detail information is lost, resulting in a dramatic decrease in image enhancement. Once low-light images are compressed by existing general image compression approaches, useful information(e.g., texture details) would be lost resulting in a dramatic performance decrease in low-light image enhancement. To simultaneously achieve a higher compression rate and better enhancement performance for low-light images, we propose a novel image compression framework with joint optimization of low-light image enhancement. We design an end-to-end trainable two-branch architecture with lower computational cost, which includes the main enhancement branch and the signal-to-noise ratio~(SNR) aware branch. Experimental results show that our proposed joint optimization framework achieves a significant improvement over existing “Compress before Enhance’ or “Enhance before Compress’ sequential solutions for low-light images. Source codes are included in the supplementary material.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL