SILOP: An Automated Framework for Semantic Segmentation Using Image Labels Based on Object Perimeters

要約

タイトル：ラベルされた画像の物体境界に基づく意味的セグメンテーションの自動化フレームワークSILOP
要約：

– 画像レベルのラベルだけを使って、高品質な意味的セグメンテーション予測を達成することができる。
– 現在の最先端のネットワークは信頼できる予測を提供するが、このような結果を可能にするために手作業でピクセル単位の注釈をする量は、現実の多くのアプリケーションでは実現不可能である。
– 分類器ベースのネットワークを基にした研究が数多く行われており、Class Activation Maps（CAM）をベースにしたものもあるが、スキャンした境界線がぼやけている、予測が不完全であるという欠点がある。
– そのため、現在の最先端の方法では、分類器の損失に規制を追加するか、事後にピクセルの類似性に基づく修正を使用することによって、これらの問題に対処することができる。
– 新しいフレームワークには、より良い注目度を得るために、オブジェクトの境界線を利用する追加モジュールが導入される。
– この新しいPerimeterFitモジュールは、ピクセルの類似性ベースのネットワークを使用する前に、CAMの予測を事前に調整するために適用される。
– これにより、PerimeterFitは、CAMの予測の品質を高めると同時に、偽陰性率を改善する。
– 私たちは、さまざまな最先端の非監視型意味的セグメンテーションネットワークとエッジ検出技術を調査し、有用な境界線マップを作成することで、SILOPがよりシャープな境界を持つオブジェクトの場所を予測できるようにした。
– PerimeterFitモジュールのないフレームワークよりも1.5%改善された。
– SILOPは、画像レベルの意味的セグメンテーションの既存の最先端のフレームワークを向上させるために、徹底的な分析を実施した。
– このフレームワークはオープンソースで、https://github.com/ErikOstrowski/SILOPでオンラインでアクセスできる。

要約(オリジナル)

Achieving high-quality semantic segmentation predictions using only image-level labels enables a new level of real-world applicability. Although state-of-the-art networks deliver reliable predictions, the amount of handcrafted pixel-wise annotations to enable these results are not feasible in many real-world applications. Hence, several works have already targeted this bottleneck, using classifier-based networks like Class Activation Maps~\cite{CAM} (CAMs) as a base. Addressing CAM’s weaknesses of fuzzy borders and incomplete predictions, state-of-the-art approaches rely only on adding regulations to the classifier loss or using pixel-similarity-based refinement after the fact. We propose a framework that introduces an additional module using object perimeters for improved saliency. We define object perimeter information as the line separating the object and background. Our new PerimeterFit module will be applied to pre-refine the CAM predictions before using the pixel-similarity-based network. In this way, our PerimeterFit increases the quality of the CAM prediction while simultaneously improving the false negative rate. We investigated a wide range of state-of-the-art unsupervised semantic segmentation networks and edge detection techniques to create useful perimeter maps, which enable our framework to predict object locations with sharper perimeters. We achieved up to 1.5% improvement over frameworks without our PerimeterFit module. We conduct an exhaustive analysis to illustrate that SILOP enhances existing state-of-the-art frameworks for image-level-based semantic segmentation. The framework is open-source and accessible online at https://github.com/ErikOstrowski/SILOP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI