Generalized Mask-aware IoU for Anchor Assignment for Real-time Instance Segmentation

要約

このペーパーでは、インスタンス セグメンテーション手法のトレーニング中にアンカー ボックスの正負の割り当てを行うための新しい手段として、一般化マスク認識交差オーバーユニオン (GmaIoU) を紹介します。
アンカーボックスとグラウンドトゥルースボックスの近接性のみを考慮する従来の IoU 測定やその変形とは異なります。
GmaIoU はさらにセグメンテーション マスクを考慮します。
これにより、GmaIoU はトレーニング中により正確な監視を提供できるようになります。
最先端の (SOTA) アサイナーである ATSS で IoU を GmaIoU に置き換えることで、GmaIoU の有効性を実証します。
次に、GmaIoU ベースの ATSS アサイナーを使用して、リアルタイム インスタンス セグメンテーション メソッドである YOLACT をトレーニングします。
GmaIoU アサイナーに基づいた結果の YOLACT は、(i) $\sim 1.0-1.5$ マスク AP による IoU を使用した ATSS、(ii) さまざまなイメージ サイズにわたる $\sim 1.5-2$ マスク AP による固定 IoU しきい値アサイナーを使用した YOLACT よりも優れています。
(iii) 使用するアンカーの数が減るため、推論時間が $25 \%$ 減少します。
この効率を利用して、YOLACT よりも高速で $+7$ マスク AP ポイントの精度が高い検出器である GmaYOLACT をさらに考案します。
当社の最良のモデルは、COCO テスト開発で $26$ fps で $38.7$ のマスク AP を達成し、リアルタイム インスタンス セグメンテーションの新しい最先端を確立しました。

要約(オリジナル)

This paper introduces Generalized Mask-aware Intersection-over-Union (GmaIoU) as a new measure for positive-negative assignment of anchor boxes during training of instance segmentation methods. Unlike conventional IoU measure or its variants, which only consider the proximity of anchor and ground-truth boxes; GmaIoU additionally takes into account the segmentation mask. This enables GmaIoU to provide more accurate supervision during training. We demonstrate the effectiveness of GmaIoU by replacing IoU with our GmaIoU in ATSS, a state-of-the-art (SOTA) assigner. Then, we train YOLACT, a real-time instance segmentation method, using our GmaIoU-based ATSS assigner. The resulting YOLACT based on the GmaIoU assigner outperforms (i) ATSS with IoU by $\sim 1.0-1.5$ mask AP, (ii) YOLACT with a fixed IoU threshold assigner by $\sim 1.5-2$ mask AP over different image sizes and (iii) decreases the inference time by $25 \%$ owing to using less anchors. Taking advantage of this efficiency, we further devise GmaYOLACT, a faster and $+7$ mask AP points more accurate detector than YOLACT. Our best model achieves $38.7$ mask AP at $26$ fps on COCO test-dev establishing a new state-of-the-art for real-time instance segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google