Object Motion Sensitivity: A Bio-inspired Solution to the Ego-motion Problem for Event-based Cameras

要約

ニューロモルフィック (イベントベース) イメージ センサーは、人間の網膜からインスピレーションを得て、生物学的対応物と非常によく似た方法で視覚刺激を処理できる電子デバイスを作成します。
これらのセンサーは、従来の RGB センサーとは大きく異なる情報を処理します。
具体的には、イベントベースのイメージ センサーによって生成される感覚情報は、RGB センサーに比べて桁違いにまばらです。
第 1 世代のニューロモルフィック イメージ センサーであるダイナミック ビジョン センサー (DVS) は、光受容体と最初の網膜シナプスに限定された計算に着想を得ています。
この作業では、第 2 世代のニューロモルフィック イメージ センサーである Integrated Retinal Functionality in CMOS Image Sensors (IRIS) の機能を強調します。これは、光受容体から網膜 (網膜神経節細胞) の出力までの完全な網膜計算を模倣して、ターゲット機能を取得することを目的としています。
-抽出。
この作業で選択した機能は、IRIS センサーでローカルに処理される Object Motion Sensitivity (OMS) です。
イベントベースのカメラの自我運動の問題を解決する際の OMS の機能を研究します。
私たちの結果は、OMS が従来の RGB および DVS ソリューションと同様の効率で標準的なコンピューター ビジョン タスクを達成できることを示していますが、大幅な帯域幅の削減を提供します。
これにより、ワイヤレスとコンピューティングの電力バジェットが削減され、高速で堅牢、エネルギー効率が高く、低帯域幅のリアルタイム意思決定に大きなチャンスが開かれます。

要約(オリジナル)

Neuromorphic (event-based) image sensors draw inspiration from the human-retina to create an electronic device that can process visual stimuli in a way that closely resembles its biological counterpart. These sensors process information significantly different than the traditional RGB sensors. Specifically, the sensory information generated by event-based image sensors are orders of magnitude sparser compared to that of RGB sensors. The first generation of neuromorphic image sensors, Dynamic Vision Sensor (DVS), are inspired by the computations confined to the photoreceptors and the first retinal synapse. In this work, we highlight the capability of the second generation of neuromorphic image sensors, Integrated Retinal Functionality in CMOS Image Sensors (IRIS), which aims to mimic full retinal computations from photoreceptors to output of the retina (retinal ganglion cells) for targeted feature-extraction. The feature of choice in this work is Object Motion Sensitivity (OMS) that is processed locally in the IRIS sensor. We study the capability of OMS in solving the ego-motion problem of the event-based cameras. Our results show that OMS can accomplish standard computer vision tasks with similar efficiency to conventional RGB and DVS solutions but offers drastic bandwidth reduction. This cuts the wireless and computing power budgets and opens up vast opportunities in high-speed, robust, energy-efficient, and low-bandwidth real-time decision making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google