Wake Vision: A Large-scale, Diverse Dataset and Benchmark Suite for TinyML Person Detection

要約

非常に低電力のデバイス上で機械学習アプリケーションを可能にする Tiny Machine Learning (TinyML) は、関連するデータセットのサイズと品質が制限されているという問題があります。
この問題に対処するために、TinyML 視覚センシングの標準タスクである人物検出用に調整された大規模で多様なデータセットである Wake Vision を導入します。
Wake Vision は、以前の標準と比較して 100 倍に相当する 600 万枚を超える画像で構成され、徹底した品質フィルタリングが施されています。
当社では、Wake Vision (Large) と、より高品質のラベルが付いた小規模なセットである Wake Vision (Quality) の 2 つの Wake Vision トレーニング セットを提供しています。
私たちの結果は、Wake Vision (Quality) トレーニング セットを使用すると、Wake Vision (Large) トレーニング セットよりも正確なモデルが生成されることを示しており、この設定ではラベルの品質が量よりも重要であることを強く示唆しています。
事前トレーニングと知識の抽出には、大規模なトレーニング セットが使用されます。
真のモデルのパフォーマンスを不明瞭にする可能性があるラベル エラーを最小限に抑えるために、検証セットとテスト セットに手動でラベルを付け、テスト セットのエラー率を以前の標準の 7.8% からわずか 2.2% に改善しました。
データセットに加えて、全体的な精度のみに焦点を当てると無視されることが多い、困難な現実世界のシナリオにおけるモデル品質の評価を容易にするために、5 つの詳細なベンチマーク セットのコレクションを提供します。
これらの新しいきめの細かいベンチマークは、さまざまな照明条件、カメラからの距離、被験者の人口統計的特徴など、テスト データの特定のセグメントに対するモデルのパフォーマンスを評価します。
私たちの結果は、Wake Vision をトレーニングに使用すると、確立されたデータセットと比較して精度が 2.49% 向上することを示しています。
また、低容量モデルの場合はデータセットの品質の重要性、高容量モデルの場合はデータセット サイズの価値も示します。
ウェイクビジョン.ai

要約(オリジナル)

Tiny machine learning (TinyML), which enables machine learning applications on extremely low-power devices, suffers from limited size and quality of relevant datasets. To address this issue, we introduce Wake Vision, a large-scale, diverse dataset tailored for person detection, the canonical task for TinyML visual sensing. Wake Vision comprises over 6 million images, representing a hundredfold increase compared to the previous standard, and has undergone thorough quality filtering. We provide two Wake Vision training sets: Wake Vision (Large) and Wake Vision (Quality), a smaller set with higher-quality labels. Our results demonstrate that using the Wake Vision (Quality) training set produces more accurate models than the Wake Vision (Large) training set, strongly suggesting that label quality is more important than quantity in our setting. We find use for the large training set for pre-training and knowledge distillation. To minimize label errors that can obscure true model performance, we manually label the validation and test sets, improving the test set error rate from 7.8% in the prior standard to only 2.2%. In addition to the dataset, we provide a collection of five detailed benchmark sets to facilitate the evaluation of model quality in challenging real world scenarios that are often ignored when focusing solely on overall accuracy. These novel fine-grained benchmarks assess model performance on specific segments of the test data, such as varying lighting conditions, distances from the camera, and demographic characteristics of subjects. Our results demonstrate that using Wake Vision for training results in a 2.49% increase in accuracy compared to the established dataset. We also show the importance of dataset quality for low-capacity models and the value of dataset size for high-capacity models. wakevision.ai

arxiv情報

提供元, 利用サービス

arxiv.jp, Google