Event-based Motion Deblurring via Multi-Temporal Granularity Fusion

要約

従来のフレームベースのカメラでは、露光時間中に発生する動きにより、必然的にぼやけた効果が生じます。
イベントカメラは、継続的な視覚情報を提供する生物由来のセンサーで、ブレ除去性能を向上させる可能性があります。
高時間解像度のイベント データを効果的に利用することは、正確な動き情報を抽出し、ブレ除去性能を向上させるために非常に重要です。
しかし、既存のイベントベースの画像のブレ除去方法は、通常、ボクセルベースのイベント表現を利用しており、高速モーションのブレ除去に数学的に不可欠な、きめの細かい時間的詳細が失われます。
この論文では、まず点群ベースのイベント表現を画像のブレ除去タスクに導入し、Multi-Temporal Granularity Network (MTGNet) を提案します。
これは、空間的には密であるが時間的には粗いボクセルベースのイベント表現と、時間的には細かいが空間的には疎な点群ベースのイベントを組み合わせたものです。
このような補完的な表現をシームレスに統合するために、細粒度のポイント ブランチを設計します。
集約およびマッピング モジュール (AMM) は、低レベルのポイントベースの特徴をフレームベースの特徴と調整するために提案されており、適応特徴拡散モジュール (AFDM) は、イベント データと画像データの間の解像度の不一致を管理するように設計されています。
スパースポイント特徴。
広範な主観的および客観的な評価により、私たちの方法が合成データセットと現実世界のデータセットの両方で現在の最先端のアプローチよりも優れていることが実証されています。

要約(オリジナル)

Conventional frame-based cameras inevitably produce blurry effects due to motion occurring during the exposure time. Event camera, a bio-inspired sensor offering continuous visual information could enhance the deblurring performance. Effectively utilizing the high-temporal-resolution event data is crucial for extracting precise motion information and enhancing deblurring performance. However, existing event-based image deblurring methods usually utilize voxel-based event representations, losing the fine-grained temporal details that are mathematically essential for fast motion deblurring. In this paper, we first introduce point cloud-based event representation into the image deblurring task and propose a Multi-Temporal Granularity Network (MTGNet). It combines the spatially dense but temporally coarse-grained voxel-based event representation and the temporally fine-grained but spatially sparse point cloud-based event. To seamlessly integrate such complementary representations, we design a Fine-grained Point Branch. An Aggregation and Mapping Module (AMM) is proposed to align the low-level point-based features with frame-based features and an Adaptive Feature Diffusion Module (AFDM) is designed to manage the resolution discrepancies between event data and image data by enriching the sparse point feature. Extensive subjective and objective evaluations demonstrate that our method outperforms current state-of-the-art approaches on both synthetic and real-world datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google