Event-guided Deblurring of Unknown Exposure Time Videos

要約

動きのぼけ除去は、ぼけ劣化プロセスで動き情報が失われるため、非常に不適切な問題です。
イベントカメラは高い時間分解能で見かけの動きをキャプチャできるため、ブレ除去をガイドするイベントの可能性をいくつかの試みで調査しました。
これらの方法は、一般に、露光時間がビデオフレームレートの逆数と同じであることを前提としています。
ただし、これは実際の状況では当てはまらず、露光時間は不明であり、ビデオ撮影環境（照明条件など）によって動的に変化する可能性があります。
この論文では、フレームベースのカメラの動的に変化する未知の露光時間を想定して、イベント誘導モーションブレ除去について説明します。
この目的のために、最初に、ビデオフレーム取得プロセスでの露出と読み出し時間を考慮して、イベント誘導モーションブレ除去の新しい定式化を導き出します。
次に、イベント誘導モーションブレ除去のための新しいエンドツーエンドの学習フレームワークを提案します。
特に、ぼやけたフレームからの特徴とイベントの間のクロスモーダル相関を推定することにより、イベントの特徴を選択的に使用するための新しい露出時間ベースのイベント選択（ETES）モジュールを設計します。
さらに、イベントから選択した特徴を融合し、フレームを効果的にぼかすための特徴融合モジュールを提案します。
私たちはさまざまなデータセットで広範な実験を行い、私たちの方法が最先端のパフォーマンスを達成することを実証します。

要約(オリジナル)

Motion deblurring is a highly ill-posed problem due to the loss of motion information in the blur degradation process. Since event cameras can capture apparent motion with a high temporal resolution, several attempts have explored the potential of events for guiding deblurring. These methods generally assume that the exposure time is the same as the reciprocal of the video frame rate. However, this is not true in real situations, and the exposure time might be unknown and dynamically varies depending on the video shooting environment(e.g., illumination condition). In this paper, we address the event-guided motion deblurring assuming dynamically variable unknown exposure time of the frame-based camera. To this end, we first derive a new formulation for event-guided motion deblurring by considering the exposure and readout time in the video frame acquisition process. We then propose a novel end-to-end learning framework for event-guided motion deblurring. In particular, we design a novel Exposure Time-based Event Selection(ETES) module to selectively use event features by estimating the cross-modal correlation between the features from blurred frames and the events. Moreover, we propose a feature fusion module to fuse the selected features from events and blur frames effectively. We conduct extensive experiments on various datasets and demonstrate that our method achieves state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google