HyperE2VID: Improving Event-Based Video Reconstruction via Hypernetworks

要約

イベントベースのカメラは、低遅延と高ダイナミック レンジで高速モーションをキャプチャできるため、ますます人気が高まっています。
ただし、イベント データは非常にまばらで変化する性質があるため、イベントからビデオを生成することは依然として困難です。
これに対処するために、この研究では、イベントベースのビデオ再構築のための動的ニューラル ネットワーク アーキテクチャである HyperE2VID を提案します。
私たちのアプローチは、ハイパーネットワークを使用して、イベントボクセルグリッドと以前に再構成された強度画像からの情報を組み合わせるコンテキスト融合モジュールによってガイドされるピクセルごとの適応フィルターを生成します。
また、ネットワークをより堅牢にトレーニングするためのカリキュラム学習戦略も採用しています。
さまざまなベンチマーク データセットにわたる包括的な実験評価により、HyperE2VID が再構築の品質の点で現在の最先端の方法を上回るだけでなく、より少ないパラメータ、削減された計算要件、および加速された推論時間でこれを達成できることが明らかになりました。

要約(オリジナル)

Event-based cameras are becoming increasingly popular for their ability to capture high-speed motion with low latency and high dynamic range. However, generating videos from events remains challenging due to the highly sparse and varying nature of event data. To address this, in this study, we propose HyperE2VID, a dynamic neural network architecture for event-based video reconstruction. Our approach uses hypernetworks to generate per-pixel adaptive filters guided by a context fusion module that combines information from event voxel grids and previously reconstructed intensity images. We also employ a curriculum learning strategy to train the network more robustly. Our comprehensive experimental evaluations across various benchmark datasets reveal that HyperE2VID not only surpasses current state-of-the-art methods in terms of reconstruction quality but also achieves this with fewer parameters, reduced computational requirements, and accelerated inference times.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google