Embedded Graph Convolutional Networks for Real-Time Event Data Processing on SoC FPGAs

要約

イベント カメラの利用は、従来のビデオ システムの制約に対処することを目的とした、急速に進化する重要なトレンドを表しています。
特に自動車分野では、これらのカメラは遅延とエネルギー消費が少ないため、組み込みリアルタイム システムへの統合に重要な関連性を示しています。
イベント処理システムに必要なスループットとレイテンシーを確保する効果的なアプローチの 1 つは、グラフ畳み込みネットワーク (GCN) を利用することです。
この調査では、点群処理用に設計された GCN アーキテクチャである PointNet++ 向けに調整された一連のハードウェアを意識した最適化を紹介します。
提案された手法により、この分野の最新研究の 1 つである非同期イベントベース GNN (AEGNN) と比較して、モデル サイズが 100 倍以上縮小されますが、精度の低下は比較的わずかです (N-Caltech101 の場合は 2.3%)。
分類では 1.7%、N-Cars 分類では 1.7%)、TinyML のトレンドに従います。
ソフトウェア研究に基づいて、カスタム EFGCN (イベントベース FPGA 高速化グラフ畳み込みネットワーク) を設計し、ZCU104 SoC FPGA プラットフォームに実装して、1 秒あたり 1,330 万イベント (MEPS) のスループットとリアルタイムの部分非同期処理を達成しました。
レイテンシーは 4.47 ミリ秒です。
また、取得された精度スコアを向上させるために、提案されたハードウェア モデルのスケーラビリティにも対処します。
私たちの知る限り、この研究は、SoC FPGA 上で PointNet++ ネットワークを高速化する最初の取り組みであると同時に、リアルタイムの連続イベント データ処理のためのグラフ畳み込みネットワーク実装の最初のハードウェア アーキテクチャの探索でもあります。
ソフトウェアとハ​​ードウェアのソース コードの両方をオープン リポジトリ https://github.com/vision-agh/*** で公開します (承認され次第公開されます)。

要約(オリジナル)

The utilisation of event cameras represents an important and swiftly evolving trend aimed at addressing the constraints of traditional video systems. Particularly within the automotive domain, these cameras find significant relevance for their integration into embedded real-time systems due to lower latency and energy consumption. One effective approach to ensure the necessary throughput and latency for event processing systems is through the utilisation of graph convolutional networks (GCNs). In this study, we introduce a series of hardware-aware optimisations tailored for PointNet++, a GCN architecture designed for point cloud processing. The proposed techniques result in more than a 100-fold reduction in model size compared to Asynchronous Event-based GNN (AEGNN), one of the most recent works in the field, with a relatively small decrease in accuracy (2.3% for N-Caltech101 classification, 1.7% for N-Cars classification), thus following the TinyML trend. Based on software research, we designed a custom EFGCN (Event-Based FPGA-accelerated Graph Convolutional Network) and we implemented it on ZCU104 SoC FPGA platform, achieving a throughput of 13.3 million events per second (MEPS) and real-time partially asynchronous processing with a latency of 4.47 ms. We also address the scalability of the proposed hardware model to improve the obtained accuracy score. To the best of our knowledge, this study marks the first endeavour in accelerating PointNet++ networks on SoC FPGAs, as well as the first hardware architecture exploration of graph convolutional networks implementation for real-time continuous event data processing. We publish both software and hardware source code in an open repository: https://github.com/vision-agh/*** (will be published upon acceptance).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google