Image Label based Semantic Segmentation Framework using Object Perimeters

要約

画像レベルのラベルのみを使用して高品質のセマンティック セグメンテーション予測を達成することで、新しいレベルの現実世界への適用性が可能になります。
最先端のネットワークは信頼性の高い予測を提供しますが、これらの結果を可能にするための手作りのピクセル単位の注釈の量は、多くの現実世界のアプリケーションでは実現可能ではありません。
したがって、いくつかの研究では、Class Activation Maps (CAM) などの分類器ベースのネットワークをベースとして使用して、このボトルネックをすでにターゲットにしています。
あいまいな境界線と不完全な予測という CAM の弱点に対処するために、最先端のアプローチは、分類器の損失に規制を追加するか、事後にピクセルの類似性に基づく改良を使用することのみに依存しています。
顕著性を改善するために、オブジェクト境界を使用して追加のモジュールを導入するフレームワークを提案します。
オブジェクトの境界情報は、オブジェクトと背景を分離する線として定義します。
新しい PerimeterFit モジュールは、ピクセル類似度ベースのネットワークを使用する前に、CAM 予測を事前に調整するために適用されます。
このようにして、当社の PerimeterFit は CAM 予測の品質を向上させると同時に、偽陰性率を改善します。
最先端の教師なしセマンティック セグメンテーション ネットワークとエッジ検出技術を幅広く調査して、有用な境界マップを作成しました。これにより、フレームワークがより鋭い境界でオブジェクトの位置を予測できるようになりました。
PerimeterFit モジュールを使用しないフレームワークと比較して、最大 1.5\% の改善を達成しました。
フレームワークが画像レベルベースのセマンティックセグメンテーションのための既存の最先端のフレームワークを強化することを示すために、徹底的な分析を行います。
このフレームワークはオープンソースであり、https://github.com/ErikOstrowski/Perimeter-based-Semantic-Segmentation からオンラインでアクセスできます。

要約(オリジナル)

Achieving high-quality semantic segmentation predictions using only image-level labels enables a new level of real-world applicability. Although state-of-the-art networks deliver reliable predictions, the amount of handcrafted pixel-wise annotations to enable these results are not feasible in many real-world applications. Hence, several works have already targeted this bottleneck, using classifier-based networks like Class Activation Maps (CAMs) as a base. Addressing CAM’s weaknesses of fuzzy borders and incomplete predictions, state-of-the-art approaches rely only on adding regulations to the classifier loss or using pixel-similarity-based refinement after the fact. We propose a framework that introduces an additional module using object perimeters for improved saliency. We define object perimeter information as the line separating the object and background. Our new PerimeterFit module will be applied to pre-refine the CAM predictions before using the pixel-similarity-based network. In this way, our PerimeterFit increases the quality of the CAM prediction while simultaneously improving the false negative rate. We investigated a wide range of state-of-the-art unsupervised semantic segmentation networks and edge detection techniques to create useful perimeter maps, which enable our framework to predict object locations with sharper perimeters. We achieved up to 1.5\% improvement over frameworks without our PerimeterFit module. We conduct an exhaustive analysis to illustrate that our framework enhances existing state-of-the-art frameworks for image-level-based semantic segmentation. The framework is open-source and accessible online at https://github.com/ErikOstrowski/Perimeter-based-Semantic-Segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google