Hardware, Algorithms, and Applications of the Neuromorphic Vision Sensor: a Review

要約

神経型、またはイベント、カメラは、視覚センシングエンコードへの古典的なアプローチの変換を表します。
標準のカメラと比較した斬新さは、固定時間間隔での全絵のフレームをキャプチャすることから、その特徴的な品質を備えて、さまざまなアプリケーションの潜在的な改善を提供するスパースデータ形式への移行にあります。
ただし、これらの利点は、アルゴリズム手順を再発明したり、新しいデータ形式を効果的に処理するように適応するための犠牲を払ってもたらされます。
この調査では、3つの主要な次元に沿って神経形態の視力を体系的に調べます。
まず、開始から最近のモデルまでの神経モルフィカメラの技術的進化と特徴的なハードウェア機能を強調します。
第二に、イベントベースのデータに対して明示的に開発された画像処理アルゴリズムをレビューし、機能の検出、追跡、光の流れに関する重要な作業をカバーします。これは、より複雑なシーン構造とコンポーネントを解釈する、深さとポーズの推定またはオブジェクト認識として、画像要素と変換を分析するための基礎を形成します。
古典的なコンピュータービジョンと最新のデータ駆動型アプローチから描かれたこれらの手法は、イベントベースのカメラのアプリケーションの幅を示すために調べられます。
第三に、さまざまな業界やシナリオでイベントカメラがどのように使用されているかを示す実用的なアプリケーションのケーススタディを提示します。
最後に、広範な採用を制限する課題を分析し、標準的なイメージング技術と比較して重要な研究ギャップを特定し、神経変動ビジョンが提供する将来の方向性と機会の有望な概要を説明します。

要約(オリジナル)

Neuromorphic, or event, cameras represent a transformation in the classical approach to visual sensing encodes detected instantaneous per-pixel illumination changes into an asynchronous stream of event packets. Their novelty compared to standard cameras lies in the transition from capturing full picture frames at fixed time intervals to a sparse data format which, with its distinctive qualities, offers potential improvements in various applications. However, these advantages come at the cost of reinventing algorithmic procedures or adapting them to effectively process the new data format. In this survey, we systematically examine neuromorphic vision along three main dimensions. First, we highlight the technological evolution and distinctive hardware features of neuromorphic cameras from their inception to recent models. Second, we review image processing algorithms developed explicitly for event-based data, covering key works on feature detection, tracking, and optical flow -which form the basis for analyzing image elements and transformations -as well as depth and pose estimation or object recognition, which interpret more complex scene structures and components. These techniques, drawn from classical computer vision and modern data-driven approaches, are examined to illustrate the breadth of applications for event-based cameras. Third, we present practical application case studies demonstrating how event cameras have been successfully used across various industries and scenarios. Finally, we analyze the challenges limiting widespread adoption, identify significant research gaps compared to standard imaging techniques, and outline promising future directions and opportunities that neuromorphic vision offers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google