TextRegion: Text-Aligned Region Tokens from Frozen Image-Text Models

要約

画像テキストモデルは、画像レベルのタスクに優れていますが、詳細な視覚的理解に苦労しています。
これらのモデルは強力な視覚言語アラインメントを提供しますが、SAM2のようなセグメンテーションモデルは、オブジェクトの正確な空間境界を提供します。
この目的のために、画像テキストモデルとSAM2の強度を組み合わせて強力なテキストに合わせた領域トークンを生成するシンプルで効果的でトレーニングフリーのフレームワークであるTextregionを提案します。
これらのトークンは、オープンボキャブラリー機能を維持しながら、詳細な視覚的理解を可能にします。
それらは、オープンワールドセマンティックセグメンテーション、表現の理解、および接地など、さまざまな下流タスクに直接適用できます。
私たちは広範な評価を実施し、最先端のトレーニングのない方法と比較して、一貫して優れたまたは競争力のあるパフォーマンスを達成しています。
さらに、私たちのフレームワークは多くの画像テキストモデルと互換性があり、より強力なモデルが出現するにつれて非常に実用的で簡単に拡張可能になります。
コードは、https：//github.com/avaxiao/textregionで入手できます。

要約(オリジナル)

Image-text models excel at image-level tasks but struggle with detailed visual understanding. While these models provide strong visual-language alignment, segmentation models like SAM2 offer precise spatial boundaries for objects. To this end, we propose TextRegion, a simple, effective, and training-free framework that combines the strengths of image-text models and SAM2 to generate powerful text-aligned region tokens. These tokens enable detailed visual understanding while preserving open-vocabulary capabilities. They can be directly applied to various downstream tasks, including open-world semantic segmentation, referring expression comprehension, and grounding. We conduct extensive evaluations and consistently achieve superior or competitive performance compared to state-of-the-art training-free methods. Additionally, our framework is compatible with many image-text models, making it highly practical and easily extensible as stronger models emerge. Code is available at: https://github.com/avaxiao/TextRegion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google