Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models

要約

ODISE: Open-vocabulary DIffusion-based panoptic SEgmentation を提示します。これは、事前にトレーニングされたテキスト画像拡散と識別モデルを統合して、オープン語彙のパノプティック セグメンテーションを実行します。
テキストから画像への拡散モデルは、多様なオープン語彙の言語記述で高品質の画像を生成する驚くべき能力を示しています。
これは、彼らの内部表現空間が現実世界のオープンな概念と高度に相関していることを示しています。
一方、CLIP のようなテキスト画像識別モデルは、画像をオープン語彙ラベルに分類するのに適しています。
これらの両方のモデルの凍結された表現を活用して、実際のあらゆるカテゴリのパノプティック セグメンテーションを実行することを提案します。
私たちのアプローチは、オープン語彙のパノプティック タスクとセマンティック セグメンテーション タスクの両方で、以前の最先端技術よりも大幅に優れています。
特に、COCO トレーニングのみで、この方法は ADE20K データセットで 23.4 PQ と 30.0 mIoU を達成し、以前の最先端技術よりも 8.3 PQ と 7.9 mIoU の絶対的な改善があります。
プロジェクトページは https://jerryxu.net/ODISE にあります。

要約(オリジナル)

We present ODISE: Open-vocabulary DIffusion-based panoptic SEgmentation, which unifies pre-trained text-image diffusion and discriminative models to perform open-vocabulary panoptic segmentation. Text-to-image diffusion models have shown the remarkable capability of generating high-quality images with diverse open-vocabulary language descriptions. This demonstrates that their internal representation space is highly correlated with open concepts in the real world. Text-image discriminative models like CLIP, on the other hand, are good at classifying images into open-vocabulary labels. We propose to leverage the frozen representation of both these models to perform panoptic segmentation of any category in the wild. Our approach outperforms the previous state of the art by significant margins on both open-vocabulary panoptic and semantic segmentation tasks. In particular, with COCO training only, our method achieves 23.4 PQ and 30.0 mIoU on the ADE20K dataset, with 8.3 PQ and 7.9 mIoU absolute improvement over the previous state-of-the-art. Project page is available at https://jerryxu.net/ODISE .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google