Beyond mAP: Re-evaluating and Improving Performance in Instance Segmentation with Semantic Sorting and Contrastive Flow

要約

トップダウン型のインスタンス分割法は、信頼度の低い予測に賭けて、グランドトゥルースに一致させることで、MAPを向上させる。さらに、トップダウン手法のクエリキーパラダイムは、インスタンスのマージ問題を引き起こす。また、カテゴリと局在の分岐が独立であるため、ネーミングエラーが発生する。我々は、些細なディザリングスキームがヘッジエラーと同時にmAPを増加させることを示すように、デファクトのmAPメトリックはこれらのエラーを捕捉していない。そこで、我々は、クラス間およびクラス内のヘッジ量を定量化するグラフベースのメトリクスを2つ提案する。我々は、ヘッジング問題の原因が特徴量のマージにあると考え、a) インスタンス間の文脈上の差異を監視信号としてエンコードするコントラストフローフィールド、b) 重複や誤った分類の予測を抑制するセマンティックソートやNMSステップを提案する。また、COCOでの実験では、最新のインスタンス分割手法と比較して、マージエラーとヘッジエラーを同時に減少させることができた。

要約(オリジナル)

Top-down instance segmentation methods improve mAP by hedging bets on low-confidence predictions to match a ground truth. Moreover, the query-key paradigm of top-down methods leads to the instance merging problem. An excessive number of duplicate predictions leads to the (over)counting error, and the independence of category and localization branches leads to the naming error. The de-facto mAP metric doesn’t capture these errors, as we show that a trivial dithering scheme can simultaneously increase mAP with hedging errors. To this end, we propose two graph-based metrics that quantifies the amount of hedging both inter-and intra-class. We conjecture the source of the hedging problem is due to feature merging and propose a) Contrastive Flow Field to encode contextual differences between instances as a supervisory signal, and b) Semantic Sorting and NMS step to suppress duplicates and incorrectly categorized prediction. Ablations show that our method encodes contextual information better than baselines, and experiments on COCO our method simultaneously reduces merging and hedging errors compared to state-of-the-art instance segmentation methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL