YOLOBench: Benchmarking Efficient Object Detectors on Embedded Systems

要約

YOLOBench は、4 つの異なるデータセットと 4 つの異なる組み込みハードウェア プラットフォーム (x86 CPU、ARM CPU、Nvidia GPU、NPU) 上の 550 以上の YOLO ベースの物体検出モデルで構成されるベンチマークです。
私たちは、さまざまな YOLO ベースの 1 段階検出器と固定トレーニング環境 (コードおよびトレーニング ハイパーパラメーター) を公正かつ制御された比較を実行することにより、さまざまなモデル スケールでの精度とレイテンシーの数値を収集します。
収集されたデータのパレート最適化分析により、最新の検出ヘッドとトレーニング技術が学習プロセスに組み込まれている場合、YOLOv3 や YOLOv4 などの古いモデルを含む YOLO シリーズの複数のアーキテクチャが精度と遅延の良好なトレードオフを達成していることが明らかになりました。
また、YOLOBench のニューラル アーキテクチャ検索で使用されるトレーニング不要の精度推定器を評価し、ほとんどの最先端のゼロコスト精度推定器は MAC カウントのような単純なベースラインよりも優れたパフォーマンスを示しますが、そのうちのいくつかは効果的に使用できることを示します。
パレート最適検出モデルを予測します。
ゼロコスト プロキシを使用して、Raspberry Pi 4 CPU 上の最先端の YOLOv8 モデルと競合する YOLO アーキテクチャを特定することで、そのことを示します。
コードとデータは https://github.com/Deeplite/deeplite-torch-zoo で入手できます。

要約(オリジナル)

We present YOLOBench, a benchmark comprised of 550+ YOLO-based object detection models on 4 different datasets and 4 different embedded hardware platforms (x86 CPU, ARM CPU, Nvidia GPU, NPU). We collect accuracy and latency numbers for a variety of YOLO-based one-stage detectors at different model scales by performing a fair, controlled comparison of these detectors with a fixed training environment (code and training hyperparameters). Pareto-optimality analysis of the collected data reveals that, if modern detection heads and training techniques are incorporated into the learning process, multiple architectures of the YOLO series achieve a good accuracy-latency trade-off, including older models like YOLOv3 and YOLOv4. We also evaluate training-free accuracy estimators used in neural architecture search on YOLOBench and demonstrate that, while most state-of-the-art zero-cost accuracy estimators are outperformed by a simple baseline like MAC count, some of them can be effectively used to predict Pareto-optimal detection models. We showcase that by using a zero-cost proxy to identify a YOLO architecture competitive against a state-of-the-art YOLOv8 model on a Raspberry Pi 4 CPU. The code and data are available at https://github.com/Deeplite/deeplite-torch-zoo

arxiv情報

提供元, 利用サービス

arxiv.jp, Google