EGVD: Event-Guided Video Deraining

要約

ディープラーニングの急速な発展により、ビデオのディレイン化は大幅に進歩しました。
ただし、既存のビデオ ディレイン パイプラインは、複雑な時空間分布の雨層を含むシーンに対して満足のいくパフォーマンスを達成できません。
この論文では、イベント カメラを使用してビデオ ディレイン化に取り組みます。
イベント カメラは神経形態センサーとして、不均一な動きや動的な光条件のシーンに適しています。
私たちは、ビデオデレインのためのイベントカメラの可能性を引き出す、エンドツーエンドの学習ベースのネットワークを提案します。
まず、イベント対応マスクを使用してマルチフレームのモーション コンテキストを適応的に集約するイベント対応モーション検出モジュールを考案します。
次に、マルチモーダルな文脈化事前分布を組み込むことで、背景と雨のレイヤーを確実に分離するためのピラミッド型適応選択モジュールを設計します。
さらに、雨のビデオと時間的に同期されたイベント ストリームから構成される現実世界のデータセットを構築します。
私たちは、合成データセットおよび自己収集された現実世界のデータセットに対する広範な最先端の方法と私たちの方法を比較し、私たちの方法の明らかな優位性を実証しています。
コードとデータセットは \url{https://github.com/booker-max/EGVD} で入手できます。

要約(オリジナル)

With the rapid development of deep learning, video deraining has experienced significant progress. However, existing video deraining pipelines cannot achieve satisfying performance for scenes with rain layers of complex spatio-temporal distribution. In this paper, we approach video deraining by employing an event camera. As a neuromorphic sensor, the event camera suits scenes of non-uniform motion and dynamic light conditions. We propose an end-to-end learning-based network to unlock the potential of the event camera for video deraining. First, we devise an event-aware motion detection module to adaptively aggregate multi-frame motion contexts using event-aware masks. Second, we design a pyramidal adaptive selection module for reliably separating the background and rain layers by incorporating multi-modal contextualized priors. In addition, we build a real-world dataset consisting of rainy videos and temporally synchronized event streams. We compare our method with extensive state-of-the-art methods on synthetic and self-collected real-world datasets, demonstrating the clear superiority of our method. The code and dataset are available at \url{https://github.com/booker-max/EGVD}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google