Pix2HDR — A pixel-wise acquisition and deep learning-based synthesis approach for high-speed HDR videos

要約

広範囲の動きと光の強さを持つ動的なシーンを正確にキャプチャすることは、多くの視覚アプリケーションにとって非常に重要です。
ただし、カメラのフレーム レートによってダイナミック レンジが制限されるため、高速ハイ ダイナミック レンジ (HDR) ビデオを取得するのは困難です。
既存の方法では、多重露出フレームを取得するために速度が犠牲になります。
しかし、これらのフレーム内の動きのずれにより、HDR フュージョン アルゴリズムが複雑になり、アーティファクトが発生する可能性があります。
フレームベースの露出の代わりに、さまざまな露出と位相オフセットで個々のピクセルを使用してビデオをサンプリングします。
モノクロのピクセルごとにプログラム可能なイメージ センサーに実装された当社のサンプリング パターンは、高いダイナミック レンジで速い動きを同時にキャプチャします。
次に、ディープ ニューラル ネットワークからエンドツーエンドで学習した重みを使用して、ピクセル単位の出力を HDR ビデオに変換し、モーション ブラーを最小限に抑えた高い時空間解像度を実現します。
1000 FPS でエイリアシングのない HDR ビデオ取得を実証し、従来のカメラでは困難な条件である低照度条件下や明るい背景下での高速モーションを解決します。
複雑なシーンをデコードする際に、ピクセル単位のサンプリング パターンの多用途性とディープ ニューラル ネットワークの強度を組み合わせることで、私たちの方法は、動的条件におけるビジョン システムの適応性とパフォーマンスを大幅に向上させます。

要約(オリジナル)

Accurately capturing dynamic scenes with wide-ranging motion and light intensity is crucial for many vision applications. However, acquiring high-speed high dynamic range (HDR) video is challenging because the camera’s frame rate restricts its dynamic range. Existing methods sacrifice speed to acquire multi-exposure frames. Yet, misaligned motion in these frames can still pose complications for HDR fusion algorithms, resulting in artifacts. Instead of frame-based exposures, we sample the videos using individual pixels at varying exposures and phase offsets. Implemented on a monochrome pixel-wise programmable image sensor, our sampling pattern simultaneously captures fast motion at a high dynamic range. We then transform pixel-wise outputs into an HDR video using end-to-end learned weights from deep neural networks, achieving high spatiotemporal resolution with minimized motion blurring. We demonstrate aliasing-free HDR video acquisition at 1000 FPS, resolving fast motion under low-light conditions and against bright backgrounds – both challenging conditions for conventional cameras. By combining the versatility of pixel-wise sampling patterns with the strength of deep neural networks at decoding complex scenes, our method greatly enhances the vision system’s adaptability and performance in dynamic conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google