Open-Vocabulary Panoptic Segmentation with Text-to-Image Diffusion Models

要約

タイトル：テキストから画像への拡散モデルを用いたオープンボキャブラリーパノプティックセグメンテーション
要約：
– ODISEという手法は、事前学習されたテキスト-画像拡散モデルと識別モデルを統合し、オープンボキャブラリーパノプティックセグメンテーションを実行するものである。
– テキストから画像への拡散モデルは、多様なオープンボキャブラリー言語記述で高品質の画像を生成する驚くべき能力を持っていることが示されている。これは、その内部表現空間が実世界のオープンな概念と高い相関関係を持っていることを示している。
– 一方、CLIPのようなテキスト-画像識別モデルは、画像をオープンボキャブラリーラベルに分類することができる。我々は、これらのモデルの凍結された内部表現を活用し、野外の任意のカテゴリーのパノプティックセグメンテーションを行う。
– 当手法は、オープンボキャブラリーパノプティックおよびセマンティックセグメンテーションタスクの両方において、これまでの最先端手法を大幅に上回る結果を示した。
– COCOトレーニングのみで、当手法はADE20Kデータセットにおいて23.4 PQと30.0 mIoUを達成し、前最先端手法に対して8.3 PQと7.9 mIoUの絶対的向上を示した。
– コードとモデルはhttps://github.com/NVlabs/ODISEでオープンソース化されている。

要約(オリジナル)

We present ODISE: Open-vocabulary DIffusion-based panoptic SEgmentation, which unifies pre-trained text-image diffusion and discriminative models to perform open-vocabulary panoptic segmentation. Text-to-image diffusion models have the remarkable ability to generate high-quality images with diverse open-vocabulary language descriptions. This demonstrates that their internal representation space is highly correlated with open concepts in the real world. Text-image discriminative models like CLIP, on the other hand, are good at classifying images into open-vocabulary labels. We leverage the frozen internal representations of both these models to perform panoptic segmentation of any category in the wild. Our approach outperforms the previous state of the art by significant margins on both open-vocabulary panoptic and semantic segmentation tasks. In particular, with COCO training only, our method achieves 23.4 PQ and 30.0 mIoU on the ADE20K dataset, with 8.3 PQ and 7.9 mIoU absolute improvement over the previous state of the art. We open-source our code and models at https://github.com/NVlabs/ODISE .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI