Intra-Batch Supervision for Panoptic Segmentation on High-Resolution Images

要約

タイトル：高解像度画像用パノプティックセグメンテーションにおけるバッチ内監視
要約：
– 統一されたパノプティックセグメンテーション方法は、いくつかのデータセットで最先端の結果を達成している。
– 高解像度データセットでこれらの結果を達成するために、これらの方法はクロップベーストレーニングを適用する。
– クロップベーストレーニングは一般的には有利だが、大きなオブジェクトの区別能力を制限する有害な副作用があることがわかった。
– 大規模オブジェクトインスタンスを区別するネットワークの能力を改善するために、複数の画像を利用して追加の監視を導入するIntra-Batch Supervision（IBS）を提案する。
– 提案手法では、混乱問題を解決し、統合されたネットワークのパフォーマンスを一貫して改善することができることを示す。
– CityscapesおよびMapillary Vistasの高解像度データセットで、ピクセル精度とピクセル精度の両方に関して+5.8までの大幅な改善を達成することができる。

要約(オリジナル)

Unified panoptic segmentation methods are achieving state-of-the-art results on several datasets. To achieve these results on high-resolution datasets, these methods apply crop-based training. In this work, we find that, although crop-based training is advantageous in general, it also has a harmful side-effect. Specifically, it limits the ability of unified networks to discriminate between large object instances, causing them to make predictions that are confused between multiple instances. To solve this, we propose Intra-Batch Supervision (IBS), which improves a network’s ability to discriminate between instances by introducing additional supervision using multiple images from the same batch. We show that, with our IBS, we successfully address the confusion problem and consistently improve the performance of unified networks. For the high-resolution Cityscapes and Mapillary Vistas datasets, we achieve improvements of up to +2.5 on the Panoptic Quality for thing classes, and even more considerable gains of up to +5.8 on both the pixel accuracy and pixel precision, which we identify as better metrics to capture the confusion problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI