Benchmarking Object Detectors with COCO: A New Path Forward

要約

Common Objects in Context (COCO) データセットは、過去 10 年間にわたってオブジェクト検出器のベンチマークに役立ってきました。
すべてのデータセットと同様に、COCO には、アノテーション手順に起因する微妙なエラーや不完全性が含まれています。
高性能モデルの出現により、COCO のこれらのエラーがさらなる進歩を確実にベンチマークする際の COCO の有用性を妨げているのではないかと考えます。
答えを求めて、COCO (2017 バージョン) の何千ものマスクを検査し、不正確なマスク境界、完全ではないアノテーションが付けられたインスタンス、誤ってラベル付けされたマスクなど、さまざまな種類のエラーを発見しました。
COCO の蔓延のため、以前の研究との連続性を維持するためにこれらのエラーを修正することにしました。
私たちは、COCO-2017 よりも明らかにマスク品質が向上した、よりクリーンなアノテーション セットである COCO-ReM (洗練されたマスク) を開発しています。
私たちは 50 のオブジェクト検出器を評価し、視覚的により鮮明なマスクを予測するモデルが COCO-ReM でより高いスコアを獲得していることを発見し、それらのモデルが COCO-2017 のエラーにより誤ってペナルティを受けていたことを確認しました。
さらに、COCO-ReM を使用してトレーニングされたモデルは、COCO-2017 を使用してトレーニングされた大規模なモデルよりも収束が速く、スコアも高く、物体検出器を改善する際のデータ品質の重要性が強調されています。
これらの発見により、私たちは将来の物体検出研究に COCO-ReM を使用することを提唱します。
私たちのデータセットは https://cocorem.xyz で入手できます。

要約(オリジナル)

The Common Objects in Context (COCO) dataset has been instrumental in benchmarking object detectors over the past decade. Like every dataset, COCO contains subtle errors and imperfections stemming from its annotation procedure. With the advent of high-performing models, we ask whether these errors of COCO are hindering its utility in reliably benchmarking further progress. In search for an answer, we inspect thousands of masks from COCO (2017 version) and uncover different types of errors such as imprecise mask boundaries, non-exhaustively annotated instances, and mislabeled masks. Due to the prevalence of COCO, we choose to correct these errors to maintain continuity with prior research. We develop COCO-ReM (Refined Masks), a cleaner set of annotations with visibly better mask quality than COCO-2017. We evaluate fifty object detectors and find that models that predict visually sharper masks score higher on COCO-ReM, affirming that they were being incorrectly penalized due to errors in COCO-2017. Moreover, our models trained using COCO-ReM converge faster and score higher than their larger variants trained using COCO-2017, highlighting the importance of data quality in improving object detectors. With these findings, we advocate using COCO-ReM for future object detection research. Our dataset is available at https://cocorem.xyz

arxiv情報

提供元, 利用サービス

arxiv.jp, Google