Event-Stream Super Resolution using Sigma-Delta Neural Network

要約

この研究では、イベント カメラによってキャプチャされた輝度変化に基づいて、時間イベント ピクセルの時空間解像度を向上させる新しいアプローチを紹介します。
これらのカメラは、解像度が低く、収集するデータがまばらで非同期であるため、特有の課題を抱えています。
現在のイベント超解像度アルゴリズムは、イベント カメラによって生成される個別のデータ構造に対して完全には最適化されていないため、計算の複雑さが向上し、ビジュアル シーンのダイナミズムや詳細を完全にキャプチャするのが非効率になります。
このギャップを埋めるために、私たちの研究では、イベント ストリームの時空間分布を同時に学習するように設計された時空間制約学習メカニズムを活用して、バイナリ スパイクとシグマ デルタ ニューラル ネットワーク (SDNN) を統合する方法を提案しています。
提案されたネットワークは、N-MNIST、CIFAR10-DVS、ASL-DVS、Event-NFS などの広く認識されているベンチマーク データセットを使用して評価されます。
包括的な評価フレームワークが採用され、二乗平均平方根誤差 (RMSE) による精度とモデルの計算効率の両方が評価されます。
この調査結果は、既存の最先端の手法に比べて大幅な改善が見られることを示しており、具体的には、提案された手法は計算効率において最先端のパフォーマンスを上回り、イベントのスパース性で 17.04 倍の改善と、イベントのスパース性の 32.28 倍の増加を達成しました。
従来の人工ニューラル ネットワークに比べてシナプス操作効率が向上し、スパイキング ニューラル ネットワークに比べて 2 倍優れたパフォーマンスを実現します。

要約(オリジナル)

This study introduces a novel approach to enhance the spatial-temporal resolution of time-event pixels based on luminance changes captured by event cameras. These cameras present unique challenges due to their low resolution and the sparse, asynchronous nature of the data they collect. Current event super-resolution algorithms are not fully optimized for the distinct data structure produced by event cameras, resulting in inefficiencies in capturing the full dynamism and detail of visual scenes with improved computational complexity. To bridge this gap, our research proposes a method that integrates binary spikes with Sigma Delta Neural Networks (SDNNs), leveraging spatiotemporal constraint learning mechanism designed to simultaneously learn the spatial and temporal distributions of the event stream. The proposed network is evaluated using widely recognized benchmark datasets, including N-MNIST, CIFAR10-DVS, ASL-DVS, and Event-NFS. A comprehensive evaluation framework is employed, assessing both the accuracy, through root mean square error (RMSE), and the computational efficiency of our model. The findings demonstrate significant improvements over existing state-of-the-art methods, specifically, the proposed method outperforms state-of-the-art performance in computational efficiency, achieving a 17.04-fold improvement in event sparsity and a 32.28-fold increase in synaptic operation efficiency over traditional artificial neural networks, alongside a two-fold better performance over spiking neural networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google