Boosting Semantic Segmentation with Semantic Boundaries

要約

タイトル：セマンティックバウンダリーを用いたセマンティックセグメンテーションの改良
要約：
– セマンティックバウンダリーを補助的なタスクとして取り入れることで、セグメンテーションのパフォーマンスを特に境界周辺で向上させる簡単で効果的なトレーニングフレームワーク、セマンティックバウンダリーコンディションバックボーン（SBCB）フレームワークを提案している。
– SBCBフレームワークは、セマンティックセグメンテーションと相補的であるSBDタスクの性質を利用して、セグメンテーションヘッドのバックボーンを改善することができる複合タスクフレームワークである。
– このフレームワークは、後の段階の特徴量が分類に使用される一般的なセマンティックセグメンテーションアーキテクチャと補完的なSBDヘッドを適用し、モデルが初期段階で低レベルな特徴を、後の段階で高レベルな意味理解を学習する。
– 推論中に追加のパラメータを使用せずにバックボーンを調整することで、セマンティックセグメンテーションモデルを改善できる。
– 大規模な評価により、SBCBフレームワークがCityscapesデータセットで人気のあるセグメンテーションヘッドとバックボーンを0.5％〜3.0％のIoUで改善し、境界Fscoreは1.6％〜4.1％向上できること示した。
– また、このフレームワークをカスタマイズされたバックボーンや新しいビジョントランスフォーマーモデルに適用し、効果を示した。

要約(オリジナル)

In this paper, we present the Semantic Boundary Conditioned Backbone (SBCB) framework, a simple yet effective training framework that is model-agnostic and boosts segmentation performance, especially around the boundaries. Motivated by the recent development in improving semantic segmentation by incorporating boundaries as auxiliary tasks, we propose a multi-task framework that uses semantic boundary detection (SBD) as an auxiliary task. The SBCB framework utilizes the nature of the SBD task, which is complementary to semantic segmentation, to improve the backbone of the segmentation head. We apply an SBD head that exploits the multi-scale features from the backbone, where the model learns low-level features in the earlier stages, and high-level semantic understanding in the later stages. This head perfectly complements the common semantic segmentation architectures where the features from the later stages are used for classification. We can improve semantic segmentation models without additional parameters during inference by only conditioning the backbone. Through extensive evaluations, we show the effectiveness of the SBCB framework by improving various popular segmentation heads and backbones by 0.5% ~ 3.0% IoU on the Cityscapes dataset and gains 1.6% ~ 4.1% in boundary Fscores. We also apply this framework on customized backbones and the emerging vision transformer models and show the effectiveness of the SBCB framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI