ReFit: A Framework for Refinement of Weakly Supervised Semantic Segmentation using Object Border Fitting for Medical Images

要約

画像レベルの監視のみに依存する弱監視セマンティック セグメンテーション (WSSS) は、セグメンテーション ネットワークのニーズに対処する、特に特定のデータセット内で多数のピクセル単位のマスクを生成する場合の有望なアプローチです。
ただし、ほとんどの最先端の画像レベル WSSS 技術では、ネットワークが画像レベルのラベルだけからオブジェクトの境界情報を導き出すことができないため、画像に埋め込まれた幾何学的特徴の理解が不足しています。
ここで境界を、オブジェクトとその背景、または 2 つの異なるオブジェクトを分離する線として定義します。
この欠点に対処するために、私たちは新しい ReFit フレームワークを提案しています。このフレームワークは、最先端のクラス アクティベーション マップをさまざまな後処理技術と組み合わせて展開し、きめの細かい高精度のセグメンテーション マスクを実現します。
これを達成するために、境界マップの構築に使用できる最先端の教師なしセグメンテーション ネットワークを調査します。これにより、ReFit がより鮮明な境界でオブジェクトの位置を予測できるようになります。
私たちの手法を WSSS 予測に適用することで、医療画像向けの現在の最先端の WSSS 手法と比較して最大 10% の改善を達成しました。
このフレームワークはオープンソースであり、結果が再現可能であることを保証し、https://github.com/bharathprabakaran/ReFit からオンラインでアクセスできます。

要約(オリジナル)

Weakly Supervised Semantic Segmentation (WSSS) relying only on image-level supervision is a promising approach to deal with the need for Segmentation networks, especially for generating a large number of pixel-wise masks in a given dataset. However, most state-of-the-art image-level WSSS techniques lack an understanding of the geometric features embedded in the images since the network cannot derive any object boundary information from just image-level labels. We define a boundary here as the line separating an object and its background, or two different objects. To address this drawback, we are proposing our novel ReFit framework, which deploys state-of-the-art class activation maps combined with various post-processing techniques in order to achieve fine-grained higher-accuracy segmentation masks. To achieve this, we investigate a state-of-the-art unsupervised segmentation network that can be used to construct a boundary map, which enables ReFit to predict object locations with sharper boundaries. By applying our method to WSSS predictions, we achieved up to 10% improvement over the current state-of-the-art WSSS methods for medical imaging. The framework is open-source, to ensure that our results are reproducible, and accessible online at https://github.com/bharathprabakaran/ReFit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google