Neuromorphic Optical Tracking and Imaging of Randomly Moving Targets through Strongly Scattering Media

要約

散乱媒体によって覆い隠されたランダムに移動するターゲットの追跡と同時光学画像の取得は、依然として、正確なオブジェクトの位置特定と識別を必要とする多くのアプリケーションにとって重要な困難な問題です。
この研究では、エンドツーエンドのニューロモーフィック光学工学および計算アプローチを開発し、イベント検出カメラと多段階ニューロモーフィック深層学習戦略を組み合わせることにより、通常は目に見えないオブジェクトを追跡および画像化する方法を実証します。
高密度の散乱媒体から出現する光子はイベント カメラによって検出され、ピクセル単位の非同期スパイク列に変換されます。これは、主な非情報背景からオブジェクト固有の情報を分離するための最初のステップです。
スパイキング データはディープ スパイキング ニューラル ネットワーク (SNN) エンジンに供給され、オブジェクトの追跡と画像の再構成は、イベント期間中離散時間ステップで並行して実行される 2 つの別個の相互接続されたモジュールによって実行されます。
ベンチトップ実験を通じて、高密度の混濁媒体内でランダムに移動する物体の追跡と画像化、および空間的には静止しているが光学的に動的な物体の画像再構成を実証します。
標準化された文字セットは、幾何学的に複雑なオブジェクトの代表的なプロキシとして機能し、この方法の汎用性を強調します。
この結果は、高い計算効率と低消費電力を備えた主要なイメージング技術に対応する完全ニューロモーフィックなアプローチの利点を強調しています。

要約(オリジナル)

Tracking and acquiring simultaneous optical images of randomly moving targets obscured by scattering media remains a challenging problem of importance to many applications that require precise object localization and identification. In this work we develop an end-to-end neuromorphic optical engineering and computational approach to demonstrate how to track and image normally invisible objects by combining an event detecting camera with a multistage neuromorphic deep learning strategy. Photons emerging from dense scattering media are detected by the event camera and converted to pixel-wise asynchronized spike trains – a first step in isolating object-specific information from the dominant uninformative background. Spiking data is fed into a deep spiking neural network (SNN) engine where object tracking and image reconstruction are performed by two separate yet interconnected modules running in parallel in discrete time steps over the event duration. Through benchtop experiments we demonstrate tracking and imaging randomly moving objects in dense turbid media as well as image reconstruction of spatially stationary but optically dynamic objects. Standardized character sets serve as representative proxies for geometrically complex objects, underscoring the method’s generality. The results highlight the advantages of a fully neuromorphic approach in meeting a major imaging technology with high computational efficiency and low power consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google