EDeNN: Event Decay Neural Networks for low latency vision

要約

コンピュータビジョンの課題においてニューラルネットワークが成功を収めているにもかかわらず、デジタル「ニューロン」は生物学的ニューロンの非常に緩い近似である。今日の学習アプローチは、画像フレームのようなデジタルデータ表現を持つデジタルデバイス上で機能するように設計されています。一方、生物学的なビジョンシステムは、一般に、最先端のデジタルコンピュータビジョンアルゴリズムよりもはるかに高機能かつ効率的である。イベントカメラは、画像フレームの概念を排除し、非同期的に発射されるピクセルで生物の視覚を模倣する新しいセンサー技術である。現代の学習技術を活用するために、多くのイベントベースアルゴリズムはイベントを画像フレームに戻して蓄積することを余儀なくされ、イベントカメラの利点をやや浪費している。 我々は、この逆のパラダイムに従い、オリジナルのイベントデータストリームに近い形で動作する新しいタイプのニューラルネットワークを開発した。その結果、角速度回帰とオプティカルフロー推定において、SNNの学習に伴う困難を回避しつつ、最先端の性能を実証する。さらに、提案手法の処理遅延は他の実装の1/10以下であり、連続推論によりさらに1桁改善されます。

要約(オリジナル)

Despite the success of neural networks in computer vision tasks, digital ‘neurons’ are a very loose approximation of biological neurons. Today’s learning approaches are designed to function on digital devices with digital data representations such as image frames. In contrast, biological vision systems are generally much more capable and efficient than state-of-the-art digital computer vision algorithms. Event cameras are an emerging sensor technology which imitates biological vision with asynchronously firing pixels, eschewing the concept of the image frame. To leverage modern learning techniques, many event-based algorithms are forced to accumulate events back to image frames, somewhat squandering the advantages of event cameras. We follow the opposite paradigm and develop a new type of neural network which operates closer to the original event data stream. We demonstrate state-of-the-art performance in angular velocity regression and competitive optical flow estimation, while avoiding difficulties related to training SNN. Furthermore, the processing latency of our proposed approached is less than 1/10 any other implementation, while continuous inference increases this improvement by another order of magnitude.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL