Repurposing Stable Diffusion Attention for Training-Free Unsupervised Interactive Segmentation

要約

インタラクティブポイントプロンプトベースの画像セグメンテーションの最近の進捗により、高品質のセマンティックラベルを取得するための手動の努力を大幅に削減できます。
最先端の非監視なしの方法は、自己監督の事前訓練モデルを使用して、プロンプトベースのセグメンテーションモデルのトレーニングに使用される疑似ラベルを取得します。
この論文では、安定した拡散の自己立文に基づいて、監視されていない訓練のない新しいアプローチを提案します。
自己関節のテンソルをマルコフ遷移演算子として解釈し、マルコフ連鎖を繰り返し構築することができます。
マルコフ連鎖に沿った必要な数の反復数をピクセルごとにカウントして相対的な確率のしきい値に到達すると、マルコフ項目マップが得られます。これは単にマルコフマップと呼ばれます。
生の注意マップと比較して、提案されたマルコフマップのノイズが少なく、セマンティックな境界が鋭く、セマンティックに類似した領域内でより均一な値があることを示します。
マルコフマップをシンプルでありながら効果的な切り捨てられた最近隣接フレームワークに統合して、インタラクティブポイントプロンプトベースのセグメンテーションを取得します。
トレーニングなしであるにもかかわらず、私たちのアプローチは、クリック数（NOC）の点で優れた結果をもたらすことを実験的に示しています。
コードはhttps://github.com/mkarmann/m2n2で入手できます。

要約(オリジナル)

Recent progress in interactive point prompt based Image Segmentation allows to significantly reduce the manual effort to obtain high quality semantic labels. State-of-the-art unsupervised methods use self-supervised pre-trained models to obtain pseudo-labels which are used in training a prompt-based segmentation model. In this paper, we propose a novel unsupervised and training-free approach based solely on the self-attention of Stable Diffusion. We interpret the self-attention tensor as a Markov transition operator, which enables us to iteratively construct a Markov chain. Pixel-wise counting of the required number of iterations along the Markov chain to reach a relative probability threshold yields a Markov-iteration-map, which we simply call a Markov-map. Compared to the raw attention maps, we show that our proposed Markov-map has less noise, sharper semantic boundaries and more uniform values within semantically similar regions. We integrate the Markov-map in a simple yet effective truncated nearest neighbor framework to obtain interactive point prompt based segmentation. Despite being training-free, we experimentally show that our approach yields excellent results in terms of Number of Clicks (NoC), even outperforming state-of-the-art training based unsupervised methods in most of the datasets. Code is available at https://github.com/mkarmann/m2n2.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google