Repurposing Stable Diffusion Attention for Training-Free Unsupervised Interactive Segmentation

要約

インタラクティブなポイント プロンプト ベースの画像セグメンテーションの最近の進歩により、高品質のセマンティック ラベルを取得するための手動の労力が大幅に削減されます。
最先端の教師なし手法では、自己教師ありの事前トレーニング済みモデルを使用して、プロンプトベースのセグメンテーション モデルのトレーニングに使用される疑似ラベルを取得します。
この論文では、安定拡散の自己注意のみに基づいた、教師なしでトレーニング不要の新しいアプローチを提案します。
セルフ アテンション テンソルをマルコフ遷移演算子として解釈し、マルコフ連鎖を反復的に構築できるようにします。
相対確率しきい値に到達するためにマルコフ連鎖に沿って必要な反復回数をピクセル単位でカウントすると、マルコフ反復マップが得られます。これを単にマルコフ マップと呼びます。
生のアテンション マップと比較して、提案したマルコフ マップにはノイズが少なく、意味上の境界がより鮮明で、意味的に類似した領域内の値がより均一であることがわかります。
マルコフマップをシンプルかつ効果的な切り捨て最近傍フレームワークに統合して、インタラクティブなポイントプロンプトベースのセグメンテーションを取得します。
トレーニング不要であるにもかかわらず、私たちのアプローチはクリック数 (NoC) の点で優れた結果をもたらし、ほとんどのデータセットで教師なし手法に基づく最先端のトレーニングを上回るパフォーマンスを示すことが実験的に示されています。

要約(オリジナル)

Recent progress in interactive point prompt based Image Segmentation allows to significantly reduce the manual effort to obtain high quality semantic labels. State-of-the-art unsupervised methods use self-supervised pre-trained models to obtain pseudo-labels which are used in training a prompt-based segmentation model. In this paper, we propose a novel unsupervised and training-free approach based solely on the self-attention of Stable Diffusion. We interpret the self-attention tensor as a Markov transition operator, which enables us to iteratively construct a Markov chain. Pixel-wise counting of the required number of iterations along the Markov-chain to reach a relative probability threshold yields a Markov-iteration-map, which we simply call a Markov-map. Compared to the raw attention maps, we show that our proposed Markov-map has less noise, sharper semantic boundaries and more uniform values within semantically similar regions. We integrate the Markov-map in a simple yet effective truncated nearest neighbor framework to obtain interactive point prompt based segmentation. Despite being training-free, we experimentally show that our approach yields excellent results in terms of Number of Clicks (NoC), even outperforming state-of-the-art training based unsupervised methods in most of the datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google