Event-based Shape from Polarization with Spiking Neural Networks

要約

偏光からのイベントベースの形状決定における最近の進歩は、表面形状の捕捉における速度と精度の間のトレードオフに取り組む革新的なアプローチを提供します。
この論文では、スパイキング ニューラル ネットワーク (SNN) を使用して偏光からのイベントベースの形状を調査し、効果的かつ効率的な表面法線推定のための単一タイムステップおよびマルチタイムステップ スパイキング UNets を導入します。
具体的には、Single-Timestep モデルはイベントベースの形状を非時間的タスクとして処理し、各スパイク ニューロンの膜電位を 1 回だけ更新することで、計算量とエネルギーの需要を削減します。
対照的に、マルチタイムステップ モデルは時間ダイナミクスを利用してデータ抽出を強化します。
合成データセットと現実世界のデータセットに対する広範な評価により、私たちのモデルが表面法線の推定において最先端の人工ニューラル ネットワーク (ANN) のパフォーマンスに匹敵し、さらに優れたエネルギー効率という利点があることが実証されました。
私たちの研究は、イベントベースのセンシングにおける SNN の進歩に貢献するだけでなく、SNN アーキテクチャの最適化、マルチモーダル データの統合、およびニューロモーフィック ハードウェアでのアプリケーションのスケーリングにおける将来の探求のための準備も整えています。

要約(オリジナル)

Recent advances in event-based shape determination from polarization offer a transformative approach that tackles the trade-off between speed and accuracy in capturing surface geometries. In this paper, we investigate event-based shape from polarization using Spiking Neural Networks (SNNs), introducing the Single-Timestep and Multi-Timestep Spiking UNets for effective and efficient surface normal estimation. Specificially, the Single-Timestep model processes event-based shape as a non-temporal task, updating the membrane potential of each spiking neuron only once, thereby reducing computational and energy demands. In contrast, the Multi-Timestep model exploits temporal dynamics for enhanced data extraction. Extensive evaluations on synthetic and real-world datasets demonstrate that our models match the performance of state-of-the-art Artifical Neural Networks (ANNs) in estimating surface normals, with the added advantage of superior energy efficiency. Our work not only contributes to the advancement of SNNs in event-based sensing but also sets the stage for future explorations in optimizing SNN architectures, integrating multi-modal data, and scaling for applications on neuromorphic hardware.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google