Edge Devices Inference Performance Comparison

要約

この作業では、4 つのエッジ プラットフォームでの MobileNet ファミリ、EfficientNet V1 および V2 ファミリ、VGG モデル、Resnet ファミリ、および InceptionV3 の推論時間を調査します。
具体的には、NVIDIA Jetson Nano、Intel Neural Stick、Google Coral USB Dongle、Google Coral PCIe です。
私たちの主な貢献は、複数の設定における前述のモデルの徹底的な分析、特に入力サイズ、分類ヘッドの存在、そのサイズ、モデルのスケールの関数としての分析です。
業界全体で、これらのアーキテクチャは主に特徴抽出器として利用されているため、私たちはそのようなアーキテクチャを分析することに主に焦点を当てています。
Google プラットフォームは、特に MobileNet や EfficientNet ファミリなどの新しいモデルで最速の平均推論時間を提供し、一方、Intel Neural Stick は、ほとんどのアーキテクチャを実行できる最も汎用的なアクセラレータであることを示します。
これらの結果は、AI エッジ システム開発の初期段階のエンジニアに指針を提供するはずです。
これらはすべて https://bulletprove.com/research/edge_inference_results.csv からアクセスできます。

要約(オリジナル)

In this work, we investigate the inference time of the MobileNet family, EfficientNet V1 and V2 family, VGG models, Resnet family, and InceptionV3 on four edge platforms. Specifically NVIDIA Jetson Nano, Intel Neural Stick, Google Coral USB Dongle, and Google Coral PCIe. Our main contribution is a thorough analysis of the aforementioned models in multiple settings, especially as a function of input size, the presence of the classification head, its size, and the scale of the model. Since throughout the industry, those architectures are mainly utilized as feature extractors we put our main focus on analyzing them as such. We show that Google platforms offer the fastest average inference time, especially for newer models like MobileNet or EfficientNet family, while Intel Neural Stick is the most universal accelerator allowing to run most architectures. These results should provide guidance for engineers in the early stages of AI edge systems development. All of them are accessible at https://bulletprove.com/research/edge_inference_results.csv

arxiv情報

提供元, 利用サービス

arxiv.jp, Google