Masked Supervised Learning for Semantic Segmentation

要約

自己注視は、長距離文脈のモデル化を可能にするため、意味分割において極めて重要であり、これにより性能の向上につながる。我々は、短距離の文脈をモデル化することも同様に重要であり、特に、注目する領域が小さく曖昧である場合だけでなく、意味クラス間に不均衡が存在する場合に取り組むべきであると主張する。このため、我々は、ランダムマスキングにより画素間の文脈関係を捉え、近距離・遠距離文脈の両方をモデル化する効率的な一段階学習パラダイムであるマスク付き教師あり学習（MaskSup）を提案している。実験結果は、3つの標準的なベンチマークデータセットにおける2クラスおよびマルチクラスのセグメンテーションタスクにおいて、MaskSupが強力なベースラインに対して競争力を持ち、特に曖昧な領域の処理と、推論コストを追加せずに少数クラスのセグメンテーションをより良く保持できることを実証するものである。また、MaskSupは汎用的であり、様々なセマンティックセグメンテーション手法に容易に統合することが可能である。また、提案手法は計算効率が高く、学習可能なパラメータが$3times$少ない一方で、mean intersection-over-union (mIoU)の性能が10%改善されることを示す。

要約(オリジナル)

Self-attention is of vital importance in semantic segmentation as it enables modeling of long-range context, which translates into improved performance. We argue that it is equally important to model short-range context, especially to tackle cases where not only the regions of interest are small and ambiguous, but also when there exists an imbalance between the semantic classes. To this end, we propose Masked Supervised Learning (MaskSup), an effective single-stage learning paradigm that models both short- and long-range context, capturing the contextual relationships between pixels via random masking. Experimental results demonstrate the competitive performance of MaskSup against strong baselines in both binary and multi-class segmentation tasks on three standard benchmark datasets, particularly at handling ambiguous regions and retaining better segmentation of minority classes with no added inference cost. In addition to segmenting target regions even when large portions of the input are masked, MaskSup is also generic and can be easily integrated into a variety of semantic segmentation methods. We also show that the proposed method is computationally efficient, yielding an improved performance by 10\% on the mean intersection-over-union (mIoU) while requiring $3\times$ less learnable parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL