Seeing Behind Dynamic Occlusions with Event Cameras

要約

破片、ほこり、雨滴、雪などの不要なカメラの遮蔽は、コンピュータ ビジョン システムのパフォーマンスを大幅に低下させる可能性があります。
動的オクルージョンは、パターンが継続的に変化するため、特に困難です。
既存のオクルージョン除去方法は現在、合成開口イメージングまたは画像修復を使用しています。
ただし、背景の強度を幻覚させるために複数の視点またはユーザー作成のマスクが必要となるため、動的オクルージョンの問題に直面しています。
動的オクルージョンの存在下で単一の視点から背景を再構成する新しいアプローチを提案します。
私たちのソリューションは、従来のカメラとイベント カメラの組み合わせに初めて依存しています。
オクルージョンが背景画像上を移動すると、イベントをトリガーする強度の変化が発生します。
これらのイベントは、高い時間解像度で前景と背景の間の相対的な強度の変化に関する追加情報を提供し、背景コンテンツのより正確な再構築を可能にします。
私たちのアプローチを評価するために、同期された画像とイベントシーケンスで構成される最初の大規模データセットを提示します。
データセットの PSNR に関して、私たちの方法が画像修復方法よりも 3dB 優れていることを示します。

要約(オリジナル)

Unwanted camera occlusions, such as debris, dust, rain-drops, and snow, can severely degrade the performance of computer-vision systems. Dynamic occlusions are particularly challenging because of the continuously changing pattern. Existing occlusion-removal methods currently use synthetic aperture imaging or image inpainting. However, they face issues with dynamic occlusions as these require multiple viewpoints or user-generated masks to hallucinate the background intensity. We propose a novel approach to reconstruct the background from a single viewpoint in the presence of dynamic occlusions. Our solution relies for the first time on the combination of a traditional camera with an event camera. When an occlusion moves across a background image, it causes intensity changes that trigger events. These events provide additional information on the relative intensity changes between foreground and background at a high temporal resolution, enabling a truer reconstruction of the background content. We present the first large-scale dataset consisting of synchronized images and event sequences to evaluate our approach. We show that our method outperforms image inpainting methods by 3dB in terms of PSNR on our dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google