OMH: Structured Sparsity via Optimally Matched Hierarchy for Unsupervised Semantic Segmentation

要約

教師なしセマンティック セグメンテーション (USS) では、人間による広範なラベル付けの負担を軽減することを目的として、事前定義されたラベルに依存せずに画像をセグメント化します。
既存の方法は、自己教師ありモデルによって生成された特徴とクラスタリングの特定の事前分布を利用します。
ただし、クラスタリングの目的は、トレーニング中の特徴の最適化には関与しません。
さらに、USS には明確なクラス定義がないため、結果として得られるセグメントがクラスタリングの目的とうまく一致しない可能性があります。
このペーパーでは、上記の問題に同時に対処するために、Optimally Matched Hierarchy (OMH) と呼ばれる新しいアプローチを紹介します。
私たちの方法の中核は、特徴空間に構造化されたスパース性を課すことにあり、これにより、特徴がさまざまなレベルの粒度で情報をエンコードできるようになります。
この疎性の構造は、階層 (OMH) に由来します。
これを達成するために、Optimal Transport を通じて並列クラスター間の柔軟だが疎な階層を学習します。
当社の OMH は、既存の USS 手法と比較して優れた教師なしセグメンテーション パフォーマンスを実現します。
私たちの広範な実験により、微分可能なパラダイムを利用した場合の OMH の利点が実証されています。
コードを公開します。

要約(オリジナル)

Unsupervised Semantic Segmentation (USS) involves segmenting images without relying on predefined labels, aiming to alleviate the burden of extensive human labeling. Existing methods utilize features generated by self-supervised models and specific priors for clustering. However, their clustering objectives are not involved in the optimization of the features during training. Additionally, due to the lack of clear class definitions in USS, the resulting segments may not align well with the clustering objective. In this paper, we introduce a novel approach called Optimally Matched Hierarchy (OMH) to simultaneously address the above issues. The core of our method lies in imposing structured sparsity on the feature space, which allows the features to encode information with different levels of granularity. The structure of this sparsity stems from our hierarchy (OMH). To achieve this, we learn a soft but sparse hierarchy among parallel clusters through Optimal Transport. Our OMH yields better unsupervised segmentation performance compared to existing USS methods. Our extensive experiments demonstrate the benefits of OMH when utilizing our differentiable paradigm. We will make our code publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google