FreeSeg: Free Mask from Interpretable Contrastive Language-Image Pretraining for Semantic Segmentation

要約

完全に監視されたセマンティック セグメンテーションは、密集したマスクから学習します。これには、クローズド セットに多額のアノテーション コストが必要です。
この論文では、オープンワールドセグメンテーションのためのピクセルレベルの注釈なしで、自然言語を監督として使用します。
提案されたフレームワークを FreeSeg と呼びます。ここで、マスクは事前トレーニング モデルの生の特徴マップから自由に利用できます。
ゼロショットまたはオープンセット セグメンテーションと比較して、FreeSeg は注釈付きマスクを必要とせず、クラスにとらわれない教師なしセグメンテーションを超えてカテゴリを広く予測します。
具体的には、FreeSeg は Interpretable Contrastive Language-Image Pretraining (ICLIP) の Image-Text Similarity Map (ITSM) からフリー マスクを取得します。
そして、私たちの主な改善点は、セグメンテーションのための部分ラベルとピクセル戦略を使用した、密な ICLIP の平滑化された最小プーリングです。
さらに、FreeSeg は、グループ化、クラスタリング、検索などの複雑な設計がなく、非常に単純です。
シンプルさに加えて、FreeSeg のパフォーマンスは、以前の最先端技術を大幅に上回っています。
同じ設定の VOC データセットの mIoU で 13.4% 高くなります。

要約(オリジナル)

Fully supervised semantic segmentation learns from dense masks, which requires heavy annotation cost for closed set. In this paper, we use natural language as supervision without any pixel-level annotation for open world segmentation. We call the proposed framework as FreeSeg, where the mask is freely available from raw feature map of pretraining model. Compared with zero-shot or openset segmentation, FreeSeg doesn’t require any annotated masks, and it widely predicts categories beyond class-agnostic unsupervised segmentation. Specifically, FreeSeg obtains free mask from Image-Text Similarity Map (ITSM) of Interpretable Contrastive Language-Image Pretraining (ICLIP). And our core improvements are the smoothed min pooling for dense ICLIP, with the partial label and pixel strategies for segmentation. Furthermore, FreeSeg is very straight forward without complex design like grouping, clustering or retrieval. Besides the simplicity, the performances of FreeSeg surpass previous state-of-the-art at large margins, e.g. 13.4% higher at mIoU on VOC dataset in the same settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google