Segment Anyword: Mask Prompt Inversion for Open-Set Grounded Segmentation

要約

オープンセットの画像セグメンテーションは、既存の方法が広範なトレーニングまたは微調整を必要とすることが多く、一般的に多様なテキスト参照式全体で統一オブジェクトを一貫してセグメント化するのに苦労するため、重要な課題を提起します。
これにより動機付けられて、セグメントAnyWordを提案します。これは、凍結した拡散モデルからのトークンレベルのクロスアテナテンションマップに依存するオープンセット言語の接地セグメンテーションのための新しいトレーニングフリーの視覚概念プロンプト学習アプローチであり、セグメンテーションサロゲートまたはマスクプロンプトを生成し、ターゲットオブジェクトマスクに改良されます。
初期プロンプトは通常、画像テキストの複雑さが増加するにつれて一貫性と一貫性を欠いており、最適ではないマスクフラグメントをもたらします。
この問題に取り組むために、文の依存と構文構造情報に基づいて視覚的なプロンプトを結合およびクラスターする新しい言語誘導視覚プロンプトの正規化をさらに導入し、堅牢でノイズ耐性マスクプロンプトの抽出、およびセグメンテーション精度の大幅な改善を可能にします。
提案されたアプローチは効果的であり、さまざまなオープンセットセグメンテーションタスクにわたって一般化され、パスカルコンテキスト59、67.73（+25.73相対）CIOUで52.5（+6.8相対）MIOUの最先端の結果を達成します。
分野。

要約(オリジナル)

Open-set image segmentation poses a significant challenge because existing methods often demand extensive training or fine-tuning and generally struggle to segment unified objects consistently across diverse text reference expressions. Motivated by this, we propose Segment Anyword, a novel training-free visual concept prompt learning approach for open-set language grounded segmentation that relies on token-level cross-attention maps from a frozen diffusion model to produce segmentation surrogates or mask prompts, which are then refined into targeted object masks. Initial prompts typically lack coherence and consistency as the complexity of the image-text increases, resulting in suboptimal mask fragments. To tackle this issue, we further introduce a novel linguistic-guided visual prompt regularization that binds and clusters visual prompts based on sentence dependency and syntactic structural information, enabling the extraction of robust, noise-tolerant mask prompts, and significant improvements in segmentation accuracy. The proposed approach is effective, generalizes across different open-set segmentation tasks, and achieves state-of-the-art results of 52.5 (+6.8 relative) mIoU on Pascal Context 59, 67.73 (+25.73 relative) cIoU on gRefCOCO, and 67.4 (+1.1 relative to fine-tuned methods) mIoU on GranDf, which is the most complex open-set grounded segmentation task in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google