Beyond mAP: Towards better evaluation of instance segmentation

要約

インスタンス セグメンテーションの正確さは、オブジェクトの数をカウントし、すべての予測を正しくローカライズし、ローカライズされた各予測を分類することで構成されます。
平均精度は、セグメンテーションのこれらすべての構成要素を測定するために使用される事実上の指標です。
ただし、このメトリクスは再現率の高い範囲で重複した予測にペナルティを課すことはなく、正しくローカライズされているが正しく分類されていないインスタンスを区別することはできません。
この弱点により、AP の大幅な向上を達成する一方で、多数の誤検知を導入するネットワーク設計が意図せずに発生してしまいました。
したがって、誤検知と高い再現率の間の最適なトレードオフを提供するモデルを選択するために AP に頼ることはできません。
このジレンマを解決するために、文献の代替メトリックを確認し、空間およびカテゴリの両方の重複予測の量を明示的に測定する 2 つの新しい尺度を提案します。
また、セマンティック ソーティングおよび NMS モジュールを提案して、ピクセル占有マッチング スキームに基づいてこれらの重複を削除します。
実験によると、最新のセグメンテーション ネットワークでは AP が大幅に向上しますが、かなりの量の重複も含まれています。
当社のセマンティック ソーティングと NMS をプラグ アンド プレイ モジュールとして追加して、ヘッジされた予測を軽減し、AP を維持することができます。

要約(オリジナル)

Correctness of instance segmentation constitutes counting the number of objects, correctly localizing all predictions and classifying each localized prediction. Average Precision is the de-facto metric used to measure all these constituents of segmentation. However, this metric does not penalize duplicate predictions in the high-recall range, and cannot distinguish instances that are localized correctly but categorized incorrectly. This weakness has inadvertently led to network designs that achieve significant gains in AP but also introduce a large number of false positives. We therefore cannot rely on AP to choose a model that provides an optimal tradeoff between false positives and high recall. To resolve this dilemma, we review alternative metrics in the literature and propose two new measures to explicitly measure the amount of both spatial and categorical duplicate predictions. We also propose a Semantic Sorting and NMS module to remove these duplicates based on a pixel occupancy matching scheme. Experiments show that modern segmentation networks have significant gains in AP, but also contain a considerable amount of duplicates. Our Semantic Sorting and NMS can be added as a plug-and-play module to mitigate hedged predictions and preserve AP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google