Wake Vision: A Tailored Dataset and Benchmark Suite for TinyML Computer Vision Applications

要約

低電力デバイス向けの Tiny Machine Learning (TinyML) には、開発用の堅牢なデータセットがありません。
私たちは、600 万を超える高品質のフィルター処理された画像を含む人物検出用の大規模データセットである Wake Vision を紹介します。
Wake Vision (Large) と Wake Vision (Quality) の 2 つのバリエーションを提供しており、事前トレーニングと知識の蒸留に大きなバージョンを活用し、高品質のラベルが最終モデルのパフォーマンスを向上させます。
手動でラベル付けされた検証セットとテスト セットにより、以前の標準と比較してエラー率が 7.8% から 2.2% に減少します。
さらに、さまざまな照明、カメラの距離、人口統計特性など、現実世界のシナリオでモデルのパフォーマンスを評価するための 5 つの詳細なベンチマーク セットを紹介します。
Wake Vision を使用したトレーニングでは、既存のデータセットと比較して精度が 1.93% 向上し、低容量モデルではデータセットの品質が、高容量モデルではデータセット サイズが重要であることがわかります。
データセット、ベンチマーク、コード、モデルは、Edge AI Foundation によって管理されている CC-BY 4.0 ライセンスに基づいて利用できます。

要約(オリジナル)

Tiny machine learning (TinyML) for low-power devices lacks robust datasets for development. We present Wake Vision, a large-scale dataset for person detection that contains over 6 million quality-filtered images. We provide two variants: Wake Vision (Large) and Wake Vision (Quality), leveraging the large variant for pretraining and knowledge distillation, while the higher-quality labels drive final model performance. The manually labeled validation and test sets reduce error rates from 7.8% to 2.2% compared to previous standards. In addition, we introduce five detailed benchmark sets to evaluate model performance in real-world scenarios, including varying lighting, camera distances, and demographic characteristics. Training with Wake Vision improves accuracy by 1.93% over existing datasets, demonstrating the importance of dataset quality for low-capacity models and dataset size for high-capacity models. The dataset, benchmarks, code, and models are available under the CC-BY 4.0 license, maintained by the Edge AI Foundation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google