Pushing the boundaries of event subsampling in event-based video classification using CNNs

要約

イベント カメラは、エッジデバイス アプリケーションに最適な低電力視覚センシング機能を提供します。
ただし、高い時間的詳細によって引き起こされる高いイベント レートにより、帯域幅と計算リソースの点で制限が生じる可能性があります。
エッジ AI アプリケーションでは、特定のタスクのイベントの最小量を決定することで、イベント レートを削減して帯域幅、メモリ、処理効率を向上させることができます。
この論文では、畳み込みニューラル ネットワーク (CNN) モデルを使用して、イベント データ分類の精度に対するイベント サブサンプリングの影響を研究します。
驚くべきことに、さまざまなデータセットにわたって、精度をほとんど低下させることなくビデオあたりのイベント数を一桁減らすことができ、精度とイベント レートのトレードオフの限界をどの程度押し上げることができるかを明らかにしています。
さらに、高いサブサンプリング レートでの分類精度の低下は、イベントのサブサンプリングによる情報損失だけが原因ではなく、ハイパーパラメーターに対する感度が高まる高度にサブサンプリングされたシナリオでは CNN のトレーニングが困難になる可能性があることもわかりました。
さまざまなサブサンプリング設定における CNN のハイパーパラメーター感度を評価するための新しい指標を使用して、複数のイベントベースの分類データセットにわたるトレーニングの不安定性を定量化します。
最後に、ネットワークの重み勾配を分析して、この不安定性についての洞察を得ることができます。

要約(オリジナル)

Event cameras offer low-power visual sensing capabilities ideal for edge-device applications. However, their high event rate, driven by high temporal details, can be restrictive in terms of bandwidth and computational resources. In edge AI applications, determining the minimum amount of events for specific tasks can allow reducing the event rate to improve bandwidth, memory, and processing efficiency. In this paper, we study the effect of event subsampling on the accuracy of event data classification using convolutional neural network (CNN) models. Surprisingly, across various datasets, the number of events per video can be reduced by an order of magnitude with little drop in accuracy, revealing the extent to which we can push the boundaries in accuracy vs. event rate trade-off. Additionally, we also find that lower classification accuracy in high subsampling rates is not solely attributable to information loss due to the subsampling of the events, but that the training of CNNs can be challenging in highly subsampled scenarios, where the sensitivity to hyperparameters increases. We quantify training instability across multiple event-based classification datasets using a novel metric for evaluating the hyperparameter sensitivity of CNNs in different subsampling settings. Finally, we analyze the weight gradients of the network to gain insight into this instability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google