Multi-granularity Interaction Simulation for Unsupervised Interactive Segmentation

要約

インタラクティブなセグメンテーションにより、ユーザーはオブジェクトの手がかりを提供することで必要に応じてセグメント化できます。これにより、画像編集や医療画像分析などの多くの分野で人間とコンピューターの相互作用が導入されます。
通常、手動でラベル付けされたオブジェクト マスクを使用したオブジェクト指向の相互作用によって、深いモデルをトレーニングするために、大規模で拡張的なピクセル レベルの注釈が費やされます。
この作業では、教師なしパラダイムでのセマンティックに一貫性がありながら多様な領域探索を使用したシミュレーションによって、有益な相互作用を行うことができることを明らかにします。
具体的には、多粒度相互作用シミュレーション (MIS) アプローチを導入して、教師なしインタラクティブ セグメンテーションの有望な方向性を切り開きます。
最近の自己教師ありモデルによって生成された高品質の密な機能を利用して、同様の機能を持つパッチまたは領域を徐々にマージして、より広範な領域を形成することを提案します。
これらの提案をランダムにサンプリングし、それらに基づいて可能な相互作用をシミュレートすることにより、複数の粒度で意味のある相互作用を提供し、モデルに相互作用を理解するように教えます。
私たちの MIS は、非ディープ ラーニングの教師なしメソッドよりも大幅に優れており、アノテーションを使用しない以前のいくつかのディープ 教師ありメソッドと同等です。

要約(オリジナル)

Interactive segmentation enables users to segment as needed by providing cues of objects, which introduces human-computer interaction for many fields, such as image editing and medical image analysis. Typically, massive and expansive pixel-level annotations are spent to train deep models by object-oriented interactions with manually labeled object masks. In this work, we reveal that informative interactions can be made by simulation with semantic-consistent yet diverse region exploration in an unsupervised paradigm. Concretely, we introduce a Multi-granularity Interaction Simulation (MIS) approach to open up a promising direction for unsupervised interactive segmentation. Drawing on the high-quality dense features produced by recent self-supervised models, we propose to gradually merge patches or regions with similar features to form more extensive regions and thus, every merged region serves as a semantic-meaningful multi-granularity proposal. By randomly sampling these proposals and simulating possible interactions based on them, we provide meaningful interaction at multiple granularities to teach the model to understand interactions. Our MIS significantly outperforms non-deep learning unsupervised methods and is even comparable with some previous deep-supervised methods without any annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google