How Asynchronous Events Encode Video

要約

イベントベースセンシングの普及に伴い、この技術の可能性を活用するための理論的な理解が必要とされています。イベントベースカメラは、フレームをキャプチャしてビデオを記録する代わりに、入力が変化したときにイベントを発するセンサーを持ち、イベントのタイミングに情報をエンコードする。このため、再構成の保証やアルゴリズムを確立する上で新たな課題が生じますが、フレームベースの映像に勝る利点も得られます。我々は、イベントベースのセンサーをモデル化するために時間エンコードマシンを使用する。TEMもまた、そのタイミングによって特徴付けられるイベントを放出することによって入力を符号化し、時間符号化からの再構成はよく理解されている。我々は、帯域制限されたビデオを時間エンコードする場合を考え、空間センサー密度と全体の空間および時間分解能の間の依存性を実証する。このような依存性は、時間分解能が映像のフレームレートにのみ依存し、空間分解能が画素グリッドにのみ依存するフレームベースの映像では発生しない。しかし、イベントベースの映像ではこの依存関係が自然に発生し、空間的にオーバーサンプリングすることで時間解像度を向上させることができる。そのため、イベントベースビジョンでは、時間的に少ないイベントを発するセンサーをより多く使用することが推奨される。

要約(オリジナル)

As event-based sensing gains in popularity, theoretical understanding is needed to harness this technology’s potential. Instead of recording video by capturing frames, event-based cameras have sensors that emit events when their inputs change, thus encoding information in the timing of events. This creates new challenges in establishing reconstruction guarantees and algorithms, but also provides advantages over frame-based video. We use time encoding machines to model event-based sensors: TEMs also encode their inputs by emitting events characterized by their timing and reconstruction from time encodings is well understood. We consider the case of time encoding bandlimited video and demonstrate a dependence between spatial sensor density and overall spatial and temporal resolution. Such a dependence does not occur in frame-based video, where temporal resolution depends solely on the frame rate of the video and spatial resolution depends solely on the pixel grid. However, this dependence arises naturally in event-based video and allows oversampling in space to provide better time resolution. As such, event-based vision encourages using more sensors that emit fewer events over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL