Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark

要約

オブジェクト検出モデルの評価は、通常、単一のメトリックを最適化することによって実行されます。
固定セットのデータセットに対するmAP。
Microsoft COCO と Pascal VOC。
画像の取得と注釈のコストがかかるため、これらのデータセットは主にウェブ上で見つかった画像で構成されており、実際にモデル化されている多くの現実のドメインを表していません。
衛星、微視的、およびゲームであり、モデルによって学習された一般化の程度を主張することは困難です。
100 個のデータセット、7 つの画像ドメイン、224,714 個の画像、および 11,170 時間を超えるラベル付け時間を持つ 805 個のクラス ラベルで構成される Roboflow-100 (RF100) を紹介します。
RF100 は、90,000 を超える公開データセット、6,000 万の公開画像から導出されました。これらは、Web アプリケーション Roboflow Universe でオープンにコンピューター ビジョンの専門家によって積極的に収集およびラベル付けされています。
RF100 をリリースすることで、研究者が実際のデータを使用してモデルの一般化可能性をテストできるように、データセットの意味的に多様なマルチドメイン ベンチマークを提供することを目指しています。
RF100 のダウンロードとベンチマークの複製は、GitHub で入手できます。

要約(オリジナル)

The evaluation of object detection models is usually performed by optimizing a single metric, e.g. mAP, on a fixed set of datasets, e.g. Microsoft COCO and Pascal VOC. Due to image retrieval and annotation costs, these datasets consist largely of images found on the web and do not represent many real-life domains that are being modelled in practice, e.g. satellite, microscopic and gaming, making it difficult to assert the degree of generalization learned by the model. We introduce the Roboflow-100 (RF100) consisting of 100 datasets, 7 imagery domains, 224,714 images, and 805 class labels with over 11,170 labelling hours. We derived RF100 from over 90,000 public datasets, 60 million public images that are actively being assembled and labelled by computer vision practitioners in the open on the web application Roboflow Universe. By releasing RF100, we aim to provide a semantically diverse, multi-domain benchmark of datasets to help researchers test their model’s generalizability with real-life data. RF100 download and benchmark replication are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google