CuVLER: Enhanced Unsupervised Object Discoveries through Exhaustive Self-Supervised Transformers

要約

このペーパーでは、複数の自己教師ありモデルからの特徴表現を活用する、教師なしオブジェクト発見のための革新的な方法である VoteCut を紹介します。
VoteCut は、正規化カット ベースのグラフ分割、クラスタリング、およびピクセル投票アプローチを採用しています。
さらに、VoteCut によって生成された擬似ラベルを使用してトレーニングされたゼロショット モデルである CuVLER (Cut-Vote-and-LEaRn) と、セグメンテーションの精度を向上させるための新しいソフト ターゲット損失を紹介します。
複数のデータセットといくつかの教師なし設定にわたる厳密な評価を通じて、私たちの手法は以前の最先端のモデルと比較して大幅な改善を示しています。
私たちのアブレーション研究では、各コンポーネントの貢献がさらに強調され、私たちのアプローチの堅牢性と有効性が明らかになりました。
VoteCut と CuVLER は、総合的に画像セグメンテーションにおける将来の進歩への道を開きます。

要約(オリジナル)

In this paper, we introduce VoteCut, an innovative method for unsupervised object discovery that leverages feature representations from multiple self-supervised models. VoteCut employs normalized-cut based graph partitioning, clustering and a pixel voting approach. Additionally, We present CuVLER (Cut-Vote-and-LEaRn), a zero-shot model, trained using pseudo-labels, generated by VoteCut, and a novel soft target loss to refine segmentation accuracy. Through rigorous evaluations across multiple datasets and several unsupervised setups, our methods demonstrate significant improvements in comparison to previous state-of-the-art models. Our ablation studies further highlight the contributions of each component, revealing the robustness and efficacy of our approach. Collectively, VoteCut and CuVLER pave the way for future advancements in image segmentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google