fpgaHART: A toolflow for throughput-oriented acceleration of 3D CNNs for HAR onto FPGAs

要約

監視システム、自動運転車、人間監視システム、ビデオ検索などは、3D 畳み込みニューラル ネットワークが利用される多くのアプリケーションのうちのほんの一部です。
ただし、特にリソースが限られたシステムに統合される場合、その広範な使用は高い計算能力とメモリ要件により制限されます。
この研究では、FPGA リソースとオフチップ メモリの特性を考慮して、人間の行動認識のための 3D CNN モデルの FPGA デバイスへのマッピングを最適化するツールフローを提案します。
提案されたシステムは、同期データフロー (SDF) グラフを使用して設計をモデル化し、設計空間を拡張および探索するための変換を導入することで、高スループットの設計を実現します。
提案されたツールフローを複数の FPGA デバイス上で使用して、さまざまな 3D CNN モデルが評価され、以前の手作業で調整されたモデル固有の設計と比較して、競争力のあるパフォーマンスを実現できる可能性が実証されました。

要約(オリジナル)

Surveillance systems, autonomous vehicles, human monitoring systems, and video retrieval are just few of the many applications in which 3D Convolutional Neural Networks are exploited. However, their extensive use is restricted by their high computational and memory requirements, especially when integrated into systems with limited resources. This study proposes a toolflow that optimises the mapping of 3D CNN models for Human Action Recognition onto FPGA devices, taking into account FPGA resources and off-chip memory characteristics. The proposed system employs Synchronous Dataflow (SDF) graphs to model the designs and introduces transformations to expand and explore the design space, resulting in high-throughput designs. A variety of 3D CNN models were evaluated using the proposed toolflow on multiple FPGA devices, demonstrating its potential to deliver competitive performance compared to earlier hand-tuned and model-specific designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google