Event Cameras Meet SPADs for High-Speed, Low-Bandwidth Imaging

要約

従来のカメラは、低照度でのパフォーマンスと高速イメージングの間のトレードオフに直面しています。十分な光を捉えるために露光時間を長くするとモーション ブラーが発生し、露光時間を短くするとポアソン破損したノイズの多い画像が生じます。
バースト撮影技術はこのトレードオフを軽減するのに役立ちますが、従来のカメラはセンサーのノイズ特性が根本的に制限されています。
イベント カメラと単一光子アバランシェ ダイオード (SPAD) センサーは、その望ましい特性により、従来のカメラの有望な代替品として浮上しています。
SPAD はマイクロ秒の時間分解能で単一光子感度が可能で、イベント カメラは低い帯域幅要件で最大 1 MHz の明るさの変化を測定できます。
我々は、これらの特性が相補的であり、低帯域幅要件で低光量の高速画像再構成を実現できることを示します。
SPAD とイベント カメラを組み合わせるセンサー フュージョン フレームワークを導入し、すべての SPAD フレームの使用に伴う高帯域幅コストを削減しながら、高速で低照度のシーンの再構成を改善します。
合成センサー データと実際のセンサー データの両方に関する評価では、従来のカメラと比較して、高時間解像度 (100 kHz) での低照度シーンの再構築が大幅に向上している (> 5 dB PSNR) ことが実証されました。
イベントと SPAD の融合は、ロボット工学や医療画像処理などの実世界のアプリケーションに大きな期待をもたらします。

要約(オリジナル)

Traditional cameras face a trade-off between low-light performance and high-speed imaging: longer exposure times to capture sufficient light results in motion blur, whereas shorter exposures result in Poisson-corrupted noisy images. While burst photography techniques help mitigate this tradeoff, conventional cameras are fundamentally limited in their sensor noise characteristics. Event cameras and single-photon avalanche diode (SPAD) sensors have emerged as promising alternatives to conventional cameras due to their desirable properties. SPADs are capable of single-photon sensitivity with microsecond temporal resolution, and event cameras can measure brightness changes up to 1 MHz with low bandwidth requirements. We show that these properties are complementary, and can help achieve low-light, high-speed image reconstruction with low bandwidth requirements. We introduce a sensor fusion framework to combine SPADs with event cameras to improves the reconstruction of high-speed, low-light scenes while reducing the high bandwidth cost associated with using every SPAD frame. Our evaluation, on both synthetic and real sensor data, demonstrates significant enhancements ( > 5 dB PSNR) in reconstructing low-light scenes at high temporal resolution (100 kHz) compared to conventional cameras. Event-SPAD fusion shows great promise for real-world applications, such as robotics or medical imaging.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google