Drawing the Same Bounding Box Twice? Coping Noisy Annotations in Object Detection with Repeated Labels

要約

教師あり機械学習システムの信頼性は、グラウンド トゥルース ラベルの精度と可用性によって決まります。
ただし、人間による注釈のプロセスはエラーが発生しやすいため、ラベルにノイズが含まれる可能性があり、これらのシステムの実用性が妨げられる可能性があります。
ノイズの多いラベルを使用したトレーニングは重要な考慮事項ですが、結果の信頼性を確認するにはテスト データの信頼性も重要です。
この問題に対処する一般的なアプローチは、複数のアノテーターが同じ例にラベルを付け、それらのラベルを組み合わせて真のラベルをより適切に推定する、ラベルの繰り返しです。
この論文では、オブジェクト検出およびインスタンスのセグメンテーションタスクに十分に確立されたグラウンドトゥルース推定方法を適応させる、新しい位置推定アルゴリズムを提案します。
私たちの手法の主な革新は、位置特定と分類の組み合わせタスクを分類のみの問題に変換する機能にあり、これにより期待値最大化 (EM) や多数決 (MJV) などの手法の適用が可能になります。
私たちの主な焦点はテスト データの一意のグラウンド トゥルースの集約ですが、私たちのアルゴリズムは TexBiG データセットでのトレーニング中にも優れたパフォーマンスを示し、ノイズの多いラベル トレーニングと Weighted Boxes Fusion (WBF) を使用したラベル集約の両方を上回っています。
私たちの実験は、特定のデータセットとアノテーション構成の下でラベルを繰り返すことの利点が現れることを示しています。
重要な要素は、(1) データセットの複雑さ、(2) アノテーターの一貫性、および (3) 与えられたアノテーションの予算制約であると思われます。

要約(オリジナル)

The reliability of supervised machine learning systems depends on the accuracy and availability of ground truth labels. However, the process of human annotation, being prone to error, introduces the potential for noisy labels, which can impede the practicality of these systems. While training with noisy labels is a significant consideration, the reliability of test data is also crucial to ascertain the dependability of the results. A common approach to addressing this issue is repeated labeling, where multiple annotators label the same example, and their labels are combined to provide a better estimate of the true label. In this paper, we propose a novel localization algorithm that adapts well-established ground truth estimation methods for object detection and instance segmentation tasks. The key innovation of our method lies in its ability to transform combined localization and classification tasks into classification-only problems, thus enabling the application of techniques such as Expectation-Maximization (EM) or Majority Voting (MJV). Although our main focus is the aggregation of unique ground truth for test data, our algorithm also shows superior performance during training on the TexBiG dataset, surpassing both noisy label training and label aggregation using Weighted Boxes Fusion (WBF). Our experiments indicate that the benefits of repeated labels emerge under specific dataset and annotation configurations. The key factors appear to be (1) dataset complexity, the (2) annotator consistency, and (3) the given annotation budget constraints.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google