CodedEvents: Optimal Point-Spread-Function Engineering for 3D-Tracking with Event Cameras

要約

点像分布関数 (PSF) エンジニアリングは、位相マスクやその他の光学素子を使用して、従来の CMOS イメージ センサーでキャプチャされた画像に追加情報 (深度など) を埋め込む、確立された計算イメージング技術です。
しかし、これまでのところ、PSF エンジニアリングはニューロモーフィック イベント カメラには適用されていません。
光の対数強度の変化に応答する強力な新しい画像センシング技術。
この論文では、PSF で設計されたイベント カメラを使用した 3D 点の位置特定と追跡に関する理論的な限界 (Cram\’er Rao の限界) を確立します。
これらの境界を使用して、我々はまず、既存のフィッシャー位相マスクが、静的な点滅点源（例えば、点滅する蛍光分子）の位置を特定するのにすでに最適に近いことを実証する。
次に、既存の設計が移動点光源の追跡には次善であることを実証し、理論を使用してこのタスクに最適な位相マスクとバイナリ振幅マスクを設計します。
設計問題の非凸性を克服するために、位相マスクと振幅マスクのパラメーター化に基づいた新しい暗黙的なニューラル表現を活用します。
私たちは広範なシミュレーションを通じて設計の有効性を実証します。
また、単純なプロトタイプを使用してメソッドを検証します。

要約(オリジナル)

Point-spread-function (PSF) engineering is a well-established computational imaging technique that uses phase masks and other optical elements to embed extra information (e.g., depth) into the images captured by conventional CMOS image sensors. To date, however, PSF-engineering has not been applied to neuromorphic event cameras; a powerful new image sensing technology that responds to changes in the log-intensity of light. This paper establishes theoretical limits (Cram\’er Rao bounds) on 3D point localization and tracking with PSF-engineered event cameras. Using these bounds, we first demonstrate that existing Fisher phase masks are already near-optimal for localizing static flashing point sources (e.g., blinking fluorescent molecules). We then demonstrate that existing designs are sub-optimal for tracking moving point sources and proceed to use our theory to design optimal phase masks and binary amplitude masks for this task. To overcome the non-convexity of the design problem, we leverage novel implicit neural representation based parameterizations of the phase and amplitude masks. We demonstrate the efficacy of our designs through extensive simulations. We also validate our method with a simple prototype.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google