Representation Learning on Event Stream via an Elastic Net-incorporated Tensor Network

要約

イベント カメラは、ピクセルごとの明るさが変化したときに非同期でまばらなイベント ストリームをキャプチャするニューロモーフィック センサーです。
イベント信号の最先端の処理方法では、通常、イベントがフレームまたはグリッドに集約されます。
ただし、イベントは時間的には密であり、これらの作品は積み重ねによりイベントのローカルな情報に限定されます。
本稿では、テンソル分解によってイベントストリーム内のすべてのイベントの大域的相関を同時に捉えることができる新しい時空間表現学習方法を紹介します。
さらに、イベントは空間内にまばらであるため、イベント ストリームに関する空間的および時間的詳細をさらに取得するために、Elastic Net を組み込んだテンソル ネットワーク (ENTN) モデルを提案します。
経験的に、この結果は、我々の手法がイベントの時空間相関を高品質で表現でき、最先端の手法と比較してノイズのフィルタリングなどのアプリケーションで効果的な結果を達成できることを示しています。

要約(オリジナル)

Event cameras are neuromorphic sensors that capture asynchronous and sparse event stream when per-pixel brightness changes. The state-of-the-art processing methods for event signals typically aggregate events into a frame or a grid. However, events are dense in time, these works are limited to local information of events due to the stacking. In this paper, we present a novel spatiotemporal representation learning method which can capture the global correlations of all events in the event stream simultaneously by tensor decomposition. In addition, with the events are sparse in space, we propose an Elastic Net-incorporated tensor network (ENTN) model to obtain more spatial and temporal details about event stream. Empirically, the results indicate that our method can represent the spatiotemporal correlation of events with high quality, and can achieve effective results in applications like filtering noise compared with the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google