DynaSeg: A Deep Dynamic Fusion Method for Unsupervised Image Segmentation Incorporating Feature Similarity and Spatial Continuity

要約

私たちの研究は、さまざまなアプリケーションにとって重要な、コンピューター ビジョンにおける画像のセグメンテーションという基本的な課題に取り組んでいます。
教師ありメソッドは熟練度を示しますが、広範なピクセルレベルの注釈に依存しているため、スケーラビリティが制限されます。
大規模なハイパーパラメータ調整に依存せずに、特徴の類似性と空間的連続性のバランスをとるという課題を克服する、革新的な教師なし画像セグメンテーション アプローチである DynaSeg を紹介します。
従来の方法とは異なり、DynaSeg はパラメータ調整を自動化し、画像特性に柔軟に適応し、他のセグメンテーション ネットワークとの簡単な統合を促進する動的重み付けスキームを採用しています。
DynaSeg は、シルエット スコア フェーズを組み込むことにより、予測クラスターの数が 1 つに収束する可能性のある過小セグメンテーションの障害を防ぎます。
DynaSeg は、CNN ベースの事前トレーニング済み ResNet 特徴抽出を使用するため、計算効率が高く、他の複雑なモデルよりも簡単です。
実験結果は最先端のパフォーマンスを示し、COCO-All データセットおよび COCO-Stuff データセットに対する現在の教師なしセグメンテーション アプローチと比較して、それぞれ 12.2% および 14.12% の mIOU 改善を達成しました。
5 つのベンチマーク データセットに関する定性的および定量的な結果を提供し、提案されたアプローチの有効性を実証します。コードは https://github.com/RyersonMultimediaLab/DynaSeg で入手できます。

要約(オリジナル)

Our work tackles the fundamental challenge of image segmentation in computer vision, which is crucial for diverse applications. While supervised methods demonstrate proficiency, their reliance on extensive pixel-level annotations limits scalability. We introduce DynaSeg, an innovative unsupervised image segmentation approach that overcomes the challenge of balancing feature similarity and spatial continuity without relying on extensive hyperparameter tuning. Unlike traditional methods, DynaSeg employs a dynamic weighting scheme that automates parameter tuning, adapts flexibly to image characteristics, and facilitates easy integration with other segmentation networks. By incorporating a Silhouette Score Phase, DynaSeg prevents undersegmentation failures where the number of predicted clusters might converge to one. DynaSeg uses CNN-based and pre-trained ResNet feature extraction, making it computationally efficient and more straightforward than other complex models. Experimental results showcase state-of-the-art performance, achieving a 12.2% and 14.12% mIOU improvement over current unsupervised segmentation approaches on COCO-All and COCO-Stuff datasets, respectively. We provide qualitative and quantitative results on five benchmark datasets, demonstrating the efficacy of the proposed approach.Code is available at https://github.com/RyersonMultimediaLab/DynaSeg

arxiv情報

提供元, 利用サービス

arxiv.jp, Google