FuSS: Fusing Superpixels for Improved Segmentation Consistency

要約

本研究では、Open Set Semantic Segmentationの意味的一貫性を向上させるために、2つの異なるアプローチを提案する。まず、OpenPCSフレームワークを拡張し、ガウス混合モデルを用いて各クラスの画素分布をマルチモーダルな方法でモデル化するOpenGMMと呼ばれる方法を提案する。第二のアプローチは、スーパーピクセルを用いて均質性の高い領域を強制的に均等に動作させる後処理で、これらの領域内の誤分類された画素を修正する、FuSSという新しいスーパーピクセル法も提案した。ISPRS VaihingenとPotsdamの両データセットで検証を行った結果、両手法とも定量的・定性的な結果を改善することができた。また、FuSSによる後処理は、両データセットで最先端の結果を得ることができました。正式な実装は以下のサイトで公開されています。\url{https://github.com/iannunes/FuSS}.

要約(オリジナル)

In this work, we propose two different approaches to improve the semantic consistency of Open Set Semantic Segmentation. First, we propose a method called OpenGMM that extends the OpenPCS framework using a Gaussian Mixture of Models to model the distribution of pixels for each class in a multimodal manner. The second approach is a post-processing which uses superpixels to enforce highly homogeneous regions to behave equally, rectifying erroneous classified pixels within these regions, we also proposed a novel superpixel method called FuSS. All tests were performed on ISPRS Vaihingen and Potsdam datasets, and both methods were capable to improve quantitative and qualitative results for both datasets. Besides that, the post-process with FuSS achieved state-of-the-art results for both datasets. The official implementation is available at: \url{https://github.com/iannunes/FuSS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL