Near-infrared Image Deblurring and Event Denoising with Synergistic Neuromorphic Imaging

要約

夜間のダイナミックおよびその他の非常に暗い条件におけるイメージングの分野は、近年、印象的で変革的な進歩を見てきました。これは、新しいセンシングアプローチの台頭、たとえば近赤外（NIR）カメラの高感度とイベントカメラを最小限に抑えるイベントカメラの台頭によって推進されています。
ただし、近赤外カメラの不適切な暴露比は、歪みやぼやけの影響を受けやすくなります。
イベントカメラは、夜間の弱い信号にも非常に敏感ですが、干渉する傾向があり、多くの場合、かなりのノイズを生成し、観測と分析を大幅に分解します。
ここでは、NIRイメージングとイベントベースの技術と組み合わせた低光光イメージングの新しいフレームワークを開発します。これは、NIRイメージの脱bluringとイベントの除去を共同で実現できる相乗的神経形成イメージングと呼ばれます。
NIR画像のクロスモーダル機能と、スペクトルの一貫性と高次相互作用を介して目に見えるイベントのクロスモーダル機能を活用して、NIRの画像とイベントは同時に融合、強化、ブートストラップされます。
実際および現実的にシミュレートされたシーケンスの実験は、私たちの方法の有効性を示し、実際のシナリオで他の方法よりも精度と堅牢性が優れていることを示しています。
この研究は、NIRの画像とイベントの両方を強化するための推進力を与えます。

要約(オリジナル)

The fields of imaging in the nighttime dynamic and other extremely dark conditions have seen impressive and transformative advancements in recent years, partly driven by the rise of novel sensing approaches, e.g., near-infrared (NIR) cameras with high sensitivity and event cameras with minimal blur. However, inappropriate exposure ratios of near-infrared cameras make them susceptible to distortion and blur. Event cameras are also highly sensitive to weak signals at night yet prone to interference, often generating substantial noise and significantly degrading observations and analysis. Herein, we develop a new framework for low-light imaging combined with NIR imaging and event-based techniques, named synergistic neuromorphic imaging, which can jointly achieve NIR image deblurring and event denoising. Harnessing cross-modal features of NIR images and visible events via spectral consistency and higher-order interaction, the NIR images and events are simultaneously fused, enhanced, and bootstrapped. Experiments on real and realistically simulated sequences demonstrate the effectiveness of our method and indicate better accuracy and robustness than other methods in practical scenarios. This study gives impetus to enhance both NIR images and events, which paves the way for high-fidelity low-light imaging and neuromorphic reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google