Memory-Efficient Graph Convolutional Networks for Object Classification and Detection with Event Cameras

要約

イベント カメラ研究の最近の進歩では、データを元のまばらな形式で処理することに重点が置かれており、これにより、高時間解像度、高ダイナミック レンジ、低遅延、画像のぼけに対する耐性などの独自の機能を利用できるようになります。
イベント データを分析するための有望なアプローチの 1 つは、グラフ畳み込みネットワーク (GCN) を使用することです。
ただし、この分野の現在の研究は主に計算コストの最適化に焦点を当てており、関連するメモリ コストは無視されています。
このペーパーでは、満足のいく結果と比較的低いモデルの複雑さを達成するために、両方の要素を一緒に検討します。
この目的のために、実行時間、トレーニング可能なモデル パラメーターの数、データ形式要件、トレーニング結果などの要素を考慮して、さまざまなグラフ畳み込み操作の比較分析を実行しました。
私たちの結果は、使用された操作と比較して 6.3% 高い 52.3% の分類精度を維持しながら、特徴抽出モジュールのパラメーター数が 450 分の 1 に削減され、データ表現のサイズが 4.5 分の 1 に削減されたことを示しています。
最先端のアプローチで。
パフォーマンスをさらに評価するために、物体検出アーキテクチャを実装し、N-Caltech101 データセットでそのパフォーマンスを評価しました。
結果は、53.7 % mAP@0.5 の精度を示し、1 秒あたり 82 グラフの実行速度に達しました。

要約(オリジナル)

Recent advances in event camera research emphasize processing data in its original sparse form, which allows the use of its unique features such as high temporal resolution, high dynamic range, low latency, and resistance to image blur. One promising approach for analyzing event data is through graph convolutional networks (GCNs). However, current research in this domain primarily focuses on optimizing computational costs, neglecting the associated memory costs. In this paper, we consider both factors together in order to achieve satisfying results and relatively low model complexity. For this purpose, we performed a comparative analysis of different graph convolution operations, considering factors such as execution time, the number of trainable model parameters, data format requirements, and training outcomes. Our results show a 450-fold reduction in the number of parameters for the feature extraction module and a 4.5-fold reduction in the size of the data representation while maintaining a classification accuracy of 52.3%, which is 6.3% higher compared to the operation used in state-of-the-art approaches. To further evaluate performance, we implemented the object detection architecture and evaluated its performance on the N-Caltech101 dataset. The results showed an accuracy of 53.7 % mAP@0.5 and reached an execution rate of 82 graphs per second.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google