Fast Window-Based Event Denoising with Spatiotemporal Correlation Enhancement

要約

これまでの深層学習ベースのイベントノイズ除去手法は、その複雑なアーキテクチャ設計により解釈性が低く、リアルタイム処理が困難であることがほとんどでした。
この論文では、既存の要素ベースのノイズ除去が毎回 1 つのイベントに焦点を当てるのに対し、イベントのスタックを同時に処理するウィンドウベースのイベント除去を提案します。
さらに、解釈可能性を向上させるために、時間領域と空間領域の両方の確率分布に基づいた理論的分析を提供します。
時間領域では、処理イベントと中心イベントの間のタイムスタンプの偏差を使用して、時間的な相関関係を判断し、時間的に無関係なイベントを除外します。
空間領域では、現実世界のイベントとノイズを識別するために最大事後確率 (MAP) を選択し、学習された畳み込みスパース符号化を使用して目的関数を最適化します。
理論的分析に基づいて、時間情報と空間情報を別々に処理する時間ウィンドウ (TW) モジュールとソフト空間特徴埋め込み (SSFE) モジュールを構築し、MSDNet と名付けられた新しいマルチスケール ウィンドウベースのイベントノイズ除去ネットワークを構築します。
MSDNet の高いノイズ除去精度と高速実行速度により、複雑なシーンでリアルタイムのノイズ除去を実現できます。
広範な実験結果により、MSDNet の有効性と堅牢性が検証されています。
私たちのアルゴリズムは、イベント ノイズを効果的かつ効率的に除去し、下流のタスクのパフォーマンスを向上させることができます。

要約(オリジナル)

Previous deep learning-based event denoising methods mostly suffer from poor interpretability and difficulty in real-time processing due to their complex architecture designs. In this paper, we propose window-based event denoising, which simultaneously deals with a stack of events while existing element-based denoising focuses on one event each time. Besides, we give the theoretical analysis based on probability distributions in both temporal and spatial domains to improve interpretability. In temporal domain, we use timestamp deviations between processing events and central event to judge the temporal correlation and filter out temporal-irrelevant events. In spatial domain, we choose maximum a posteriori (MAP) to discriminate real-world event and noise, and use the learned convolutional sparse coding to optimize the objective function. Based on the theoretical analysis, we build Temporal Window (TW) module and Soft Spatial Feature Embedding (SSFE) module to process temporal and spatial information separately, and construct a novel multi-scale window-based event denoising network, named MSDNet. The high denoising accuracy and fast running speed of our MSDNet enables us to achieve real-time denoising in complex scenes. Extensive experimental results verify the effectiveness and robustness of our MSDNet. Our algorithm can remove event noise effectively and efficiently and improve the performance of downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google