A Novel Approach for Neuromorphic Vision Data Compression based on Deep Belief Network

要約

ニューロモルフィック カメラは、局所的な輝度レベルの変化のみをキャプチャする人間の目をエミュレートするイメージ センサーです。
それらは、イベント カメラ、シリコン網膜、またはダイナミック ビジョン センサー (DVS) として広く知られています。
DVS は非同期のピクセルごとの明るさの変化を記録し、明るさの変化の時間、場所、および極性をエンコードする一連のイベントを生成します。
DVS は消費電力が少なく、従来のフレームベースのカメラよりもモーション ブラーがなく、時間分解能が高いため、より広いダイナミック レンジをキャプチャできます。
このイベント キャプチャ方法では、従来のビデオ キャプチャよりもビット レートが低くなりますが、さらに圧縮できます。
この論文では、イベント データの新しいディープ ラーニング ベースの圧縮方式を提案します。
ディープ ビリーフ ネットワーク (DBN) を使用して、高次元のイベント データが潜在的な表現に縮小され、後でエントロピー ベースのコーディング手法を使用してエンコードされます。
提案されたスキームは、イベント圧縮のために深層学習を組み込んだ最初のスキームの 1 つです。
最先端のイベント データ コーダーやその他のロスレス ベンチマーク技術よりも優れた再構成品質を維持しながら、高い圧縮率を実現します。

要約(オリジナル)

A neuromorphic camera is an image sensor that emulates the human eyes capturing only changes in local brightness levels. They are widely known as event cameras, silicon retinas or dynamic vision sensors (DVS). DVS records asynchronous per-pixel brightness changes, resulting in a stream of events that encode the brightness change’s time, location, and polarity. DVS consumes little power and can capture a wider dynamic range with no motion blur and higher temporal resolution than conventional frame-based cameras. Although this method of event capture results in a lower bit rate than traditional video capture, it is further compressible. This paper proposes a novel deep learning-based compression scheme for event data. Using a deep belief network (DBN), the high dimensional event data is reduced into a latent representation and later encoded using an entropy-based coding technique. The proposed scheme is among the first to incorporate deep learning for event compression. It achieves a high compression ratio while maintaining good reconstruction quality outperforming state-of-the-art event data coders and other lossless benchmark techniques.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google