Humans disagree with the IoU for measuring object detector localization error

要約

自動オブジェクト検出器のローカリゼーション品質は、通常、Intersection over Union（IoU）スコアによって評価されます。
この作品では、人間がローカリゼーションの品質について異なる見解を持っていることを示しています。
これを評価するために、70人以上の参加者を対象に調査を実施しています。
結果は、まったく同じIoUスコアを持つローカリゼーションエラーの場合、人間はこれらのエラーが等しいとは見なさず、好みを表す可能性があることを示しています。
私たちの仕事は、人間でIoUを評価する最初のものであり、ローカリゼーションエラーを評価するためにIoUスコアだけに依存するだけでは不十分である可能性があることを明らかにしています。

要約(オリジナル)

The localization quality of automatic object detectors is typically evaluated by the Intersection over Union (IoU) score. In this work, we show that humans have a different view on localization quality. To evaluate this, we conduct a survey with more than 70 participants. Results show that for localization errors with the exact same IoU score, humans might not consider that these errors are equal, and express a preference. Our work is the first to evaluate IoU with humans and makes it clear that relying on IoU scores alone to evaluate localization errors might not be sufficient.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google