Neuromorphic Imaging and Classification with Graph Learning

要約

生物からインスピレーションを得たニューロモーフィック カメラは、ピクセルの明るさの変化を非同期に記録し、まばらなイベント ストリームを生成します。
モーションブラーがほとんどなく、極端な照明条件でもより詳細なダイナミックなシーンをキャプチャできます。
多次元のアドレスとイベントの構造のため、既存のビジョン アルゴリズムのほとんどは非同期イベント ストリームを適切に処理できません。
このような問題に対処するためにいくつかのイベント表現と処理方法が開発されてきましたが、それらは通常、多数のイベントによって駆動され、ランタイムとメモリに大幅なオーバーヘッドをもたらします。
この論文では、イベント データの新しいグラフ表現を提案し、それをグラフ トランスフォーマーと組み合わせて、正確な神経形態分類を実行します。
広範な実験により、私たちのアプローチがより良い結果をもたらし、少数のイベントと限られた計算リソースしか利用できない困難な現実的な状況に優れていることが示され、モバイル施設に組み込まれたニューロモーフィック アプリケーションへの道が開かれます。

要約(オリジナル)

Bio-inspired neuromorphic cameras asynchronously record pixel brightness changes and generate sparse event streams. They can capture dynamic scenes with little motion blur and more details in extreme illumination conditions. Due to the multidimensional address-event structure, most existing vision algorithms cannot properly handle asynchronous event streams. While several event representations and processing methods have been developed to address such an issue, they are typically driven by a large number of events, leading to substantial overheads in runtime and memory. In this paper, we propose a new graph representation of the event data and couple it with a Graph Transformer to perform accurate neuromorphic classification. Extensive experiments show that our approach leads to better results and excels at the challenging realistic situations where only a small number of events and limited computational resources are available, paving the way for neuromorphic applications embedded into mobile facilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google