Deep Spectral Improvement for Unsupervised Image Instance Segmentation

要約

ディープ スペクトル法は、自己教師あり学習を使用して特徴を抽出し、固有セグメントを取得するために親和性行列のラプラシアンを利用することにより、画像分解プロセスをグラフ分割タスクとして再構成します。
ただし、インスタンスのセグメンテーションは、ディープ スペクトル メソッドのコンテキスト内の他のタスクに比べてあまり注目されていません。
この論文では、自己監視型バックボーンから抽出された特徴マップのすべてのチャネルに、インスタンスのセグメンテーションの目的に十分な情報が含まれているわけではないという事実について取り上げます。
実際、一部のチャネルにはノイズが多く、タスクの正確性が妨げられます。
この問題を克服するために、この文書では、ノイズ チャネル削減 (NCR) と偏差ベースのチャネル削減 (DCR) という 2 つのチャネル削減モジュールを提案します。
NCR は、ノイズが発生する可能性が低いため、エントロピーが低いチャネルを保持しますが、DCR は、効果的なインスタンスのセグメンテーションに十分な情報が不足しているため、標準偏差が低いチャネルをプルーニングします。
さらに、この論文は、ディープスペクトル手法で一般的に使用されるドット積が、特徴マップ値に敏感であるため、インスタンスのセグメンテーションには適しておらず、不正確なインスタンスセグメントにつながる可能性があることを示しています。
この問題に対処するために、Bray-Curtis over Chebyshev (BoC) と呼ばれる新しい類似性メトリックが提案されています。
値に加えて特徴の分布も考慮され、インスタンスのセグメンテーションに対してより堅牢な類似性の尺度が提供されます。
Youtube-VIS2019 データセットの定量的および定性的な結果は、提案されたチャネル削減方法と、アフィニティ マトリックスを作成するための従来の内積の代わりに BoC の使用によって達成された改善を強調しています。
これらの改善は、ユニオン上の平均交差および抽出されたインスタンス セグメントの観点から観察され、インスタンス セグメンテーションのパフォーマンスの強化を示しています。
コードはhttps://github.com/farnooshar/SpecUnIISから入手できます。

要約(オリジナル)

Deep spectral methods reframe the image decomposition process as a graph partitioning task by extracting features using self-supervised learning and utilizing the Laplacian of the affinity matrix to obtain eigensegments. However, instance segmentation has received less attention compared to other tasks within the context of deep spectral methods. This paper addresses the fact that not all channels of the feature map extracted from a self-supervised backbone contain sufficient information for instance segmentation purposes. In fact, Some channels are noisy and hinder the accuracy of the task. To overcome this issue, this paper proposes two channel reduction modules: Noise Channel Reduction (NCR) and Deviation-based Channel Reduction (DCR). The NCR retains channels with lower entropy, as they are less likely to be noisy, while DCR prunes channels with low standard deviation, as they lack sufficient information for effective instance segmentation. Furthermore, the paper demonstrates that the dot product, commonly used in deep spectral methods, is not suitable for instance segmentation due to its sensitivity to feature map values, potentially leading to incorrect instance segments. A new similarity metric called Bray-Curtis over Chebyshev (BoC) is proposed to address this issue. It takes into account the distribution of features in addition to their values, providing a more robust similarity measure for instance segmentation. Quantitative and qualitative results on the Youtube-VIS2019 dataset highlight the improvements achieved by the proposed channel reduction methods and the use of BoC instead of the conventional dot product for creating the affinity matrix. These improvements are observed in terms of mean Intersection over Union and extracted instance segments, demonstrating enhanced instance segmentation performance. The code is available on: https://github.com/farnooshar/SpecUnIIS

arxiv情報

提供元, 利用サービス

arxiv.jp, Google