Building Temporal Kernels with Orthogonal Polynomials

要約

直交多項式基底関数から生成された時間畳み込みカーネルを含む、PLEIADES (適応型分散イベントベース システムにおける多項式拡張) という名前のモデルのクラスを導入します。
私たちは、これらのネットワークをイベントベースのデータとインターフェースして、オンラインの時空間分類と検出を低遅延で実行することに重点を置いています。
構造化された時間カーネルとイベントベースのデータを使用することで、追加の微調整を行わずに、ネットワークの離散化ステップ サイズとともにデータのサンプル レートを自由に変更できます。
私たちは 3 つのイベントベースのベンチマークを実験し、3 つすべてで大幅に少ないメモリとコンピューティングのコストで最先端の結果を得ました。
1) DVS128 ハンド ジェスチャ認識データセットの 192,000 パラメータで 99.59% の精度を達成し、小規模な追加出力フィルタで 100% の精度を達成しました。
2) AIS 2024 視線追跡チャレンジの 277,000 パラメータによる 99.58% のテスト精度。
3) PROPHESEE 1 メガピクセル自動車検出データセットの 576k パラメーターで 0.556 mAP。

要約(オリジナル)

We introduce a class of models named PLEIADES (PoLynomial Expansion In Adaptive Distributed Event-based Systems), which contains temporal convolution kernels generated from orthogonal polynomial basis functions. We focus on interfacing these networks with event-based data to perform online spatiotemporal classification and detection with low latency. By virtue of using structured temporal kernels and event-based data, we have the freedom to vary the sample rate of the data along with the discretization step-size of the network without additional finetuning. We experimented with three event-based benchmarks and obtained state-of-the-art results on all three by large margins with significantly smaller memory and compute costs. We achieved: 1) 99.59% accuracy with 192K parameters on the DVS128 hand gesture recognition dataset and 100% with a small additional output filter; 2) 99.58% test accuracy with 277K parameters on the AIS 2024 eye tracking challenge; and 3) 0.556 mAP with 576k parameters on the PROPHESEE 1 Megapixel Automotive Detection Dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google