Enlighten Anything: When Segment Anything Model Meets Low-Light Image Enhancement

要約

画像の復元は低レベルの視覚的なタスクであり、ほとんどの CNN メソッドはブラック ボックスとして設計されており、透明性や本質的な美しさが欠けています。
教師なしアプローチの多くは、低照度シーンでの可視情報の劣化を無視しています。これにより、補完情報の集約に重大な影響が生じ、極端な条件下では融合アルゴリズムが満足のいく融合結果を生成できなくなります。
この論文では、SAM セグメンテーションのセマンティックな意図を強化し、低照度画像と融合して、視覚的に優れた融合画像を取得できる Enlighten-anything を提案します。
教師なし学習の汎化能力は大幅に向上し、LOL データセットで実験が行われ、私たちの方法がベースラインと比較して PSNR で 3db、SSIM で 8db 改善することが示されました。
SAM のゼロショット学習は、教師なしの低照度強調を強力に支援します。
Enlighten Anything のソース コードは https://github.com/zhangbaijin/enlighten-anything から入手できます。

要約(オリジナル)

Image restoration is a low-level visual task, and most CNN methods are designed as black boxes, lacking transparency and intrinsic aesthetics. Many unsupervised approaches ignore the degradation of visible information in low-light scenes, which will seriously affect the aggregation of complementary information and also make the fusion algorithm unable to produce satisfactory fusion results under extreme conditions. In this paper, we propose Enlighten-anything, which is able to enhance and fuse the semantic intent of SAM segmentation with low-light images to obtain fused images with good visual perception. The generalization ability of unsupervised learning is greatly improved, and experiments on LOL dataset are conducted to show that our method improves 3db in PSNR over baseline and 8 in SSIM. Zero-shot learning of SAM introduces a powerful aid for unsupervised low-light enhancement. The source code of Enlighten Anything can be obtained from https://github.com/zhangbaijin/enlighten-anything

arxiv情報

提供元, 利用サービス

arxiv.jp, Google