SEE: See Everything Every Time — Adaptive Brightness Adjustment for Broad Light Range Images via Events

要約

高ダイナミックレンジが120db $を超えるイベントカメラは、従来の埋め込みカメラを大幅に上回り、低照度と高地の両方の状況を含むさまざまな照明条件下で詳細な変更情報を堅牢に記録します。
ただし、イベントデータの利用に関する最近の研究は、主に低光の画像強化に焦点を当てており、通常や高照明などの広範な照明条件にわたって画像の強化と輝度調整を無視しています。
これに基づいて、私たちは新しい研究の質問を提案します。広い照明条件下でキャプチャされた画像の明るさを強化し、適応的に調整するためにイベントを採用する方法は？
この質問を調査するために、最初に、610,126の画像と対応するイベントで構成される202のシナリオで構成される新しいデータセットSEE-600Kを収集しました。それぞれが照明に1000倍以上の変動を伴う4つの照明条件を備えています。
その後、イベントを効果的に利用して、プロンプトを使用して画像の明るさをスムーズに調整するフレームワークを提案します。
私たちのフレームワークは、センサーパターンを介して色をキャプチャし、クロスアテンションを使用してイベントを輝度辞書としてモデル化し、画像のダイナミックレンジを調整して、輝度プロンプトに基づいてピクセルレベルでデコードされる広い光範囲表現（BLR）を形成します。
実験結果は、私たちの方法が低照度エンハンスメントデータセットでうまく機能するだけでなく、SEE-600Kデータセットを使用してより広い光範囲画像強化の堅牢なパフォーマンスを示すことを示しています。
さらに、当社のアプローチにより、ピクセルレベルの輝度調整が可能になり、後処理に柔軟性を提供し、より多くのイメージングアプリケーションを刺激します。
データセットとソースコードは、https：//github.com/yunfanlu/seeで公開されています。

要約(オリジナル)

Event cameras, with a high dynamic range exceeding $120dB$, significantly outperform traditional embedded cameras, robustly recording detailed changing information under various lighting conditions, including both low- and high-light situations. However, recent research on utilizing event data has primarily focused on low-light image enhancement, neglecting image enhancement and brightness adjustment across a broader range of lighting conditions, such as normal or high illumination. Based on this, we propose a novel research question: how to employ events to enhance and adaptively adjust the brightness of images captured under broad lighting conditions? To investigate this question, we first collected a new dataset, SEE-600K, consisting of 610,126 images and corresponding events across 202 scenarios, each featuring an average of four lighting conditions with over a 1000-fold variation in illumination. Subsequently, we propose a framework that effectively utilizes events to smoothly adjust image brightness through the use of prompts. Our framework captures color through sensor patterns, uses cross-attention to model events as a brightness dictionary, and adjusts the image’s dynamic range to form a broad light-range representation (BLR), which is then decoded at the pixel level based on the brightness prompt. Experimental results demonstrate that our method not only performs well on the low-light enhancement dataset but also shows robust performance on broader light-range image enhancement using the SEE-600K dataset. Additionally, our approach enables pixel-level brightness adjustment, providing flexibility for post-processing and inspiring more imaging applications. The dataset and source code are publicly available at:https://github.com/yunfanLu/SEE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google