Bilateral Event Mining and Complementary for Event Stream Super-Resolution

要約

イベント ストリーム超解像度 (ESR) は、イベント ストリームの空間解像度が不十分であるという課題に対処することを目的としています。これは、複雑なシナリオでのイベント カメラのアプリケーションにとって非常に重要です。
ESR に関するこれまでの研究では、ポジティブなイベントとネガティブなイベントを混合パラダイムで処理することがよくありました。
このパラダイムでは、各イベントの固有の特性を効果的にモデル化し、相関関係を考慮して相互に改良する能力が制限されます。
この論文では、各イベントの可能性を最大限に活用し、共有情報を取得して相互に補完する双方向イベントマイニングおよび補完ネットワーク (BMCNet) を提案します。
具体的には、2 つのストリーム ネットワークを利用して、各タイプのイベントの包括的なマイニングを個別に実行します。
2 つのストリーム間の情報交換を促進するために、双方向情報交換 (BIE) モジュールを提案します。
このモジュールは 2 つのストリーム間に層ごとに埋め込まれており、イベントの固有の特性によってもたらされる無効な情報の影響を軽減しながら、階層的なグローバル情報の効果的な伝播を可能にします。
実験結果は、私たちのアプローチが ESR における以前の最先端の方法よりも優れており、実データセットと合成データセットの両方で 11\% 以上のパフォーマンス向上を達成していることを示しています。
さらに、私たちの方法は、オブジェクト認識やビデオ再構築などのイベントベースの下流タスクのパフォーマンスを大幅に向上させます。
私たちのコードは https://github.com/Lqm26/BMCNet-ESR で入手できます。

要約(オリジナル)

Event Stream Super-Resolution (ESR) aims to address the challenge of insufficient spatial resolution in event streams, which holds great significance for the application of event cameras in complex scenarios. Previous works for ESR often process positive and negative events in a mixed paradigm. This paradigm limits their ability to effectively model the unique characteristics of each event and mutually refine each other by considering their correlations. In this paper, we propose a bilateral event mining and complementary network (BMCNet) to fully leverage the potential of each event and capture the shared information to complement each other simultaneously. Specifically, we resort to a two-stream network to accomplish comprehensive mining of each type of events individually. To facilitate the exchange of information between two streams, we propose a bilateral information exchange (BIE) module. This module is layer-wisely embedded between two streams, enabling the effective propagation of hierarchical global information while alleviating the impact of invalid information brought by inherent characteristics of events. The experimental results demonstrate that our approach outperforms the previous state-of-the-art methods in ESR, achieving performance improvements of over 11\% on both real and synthetic datasets. Moreover, our method significantly enhances the performance of event-based downstream tasks such as object recognition and video reconstruction. Our code is available at https://github.com/Lqm26/BMCNet-ESR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google