Zero-shot Unsupervised Transfer Instance Segmentation

要約

タイトル：「Zero-shot Unsupervised Transfer Instance Segmentation」

要約：
– セグメンテーションは、科学的および経済的に有価な範囲にわたるアプリケーションを持つコンピュータビジョンの中核的な能力である。
– しかし、注釈の費用が高すぎるため、柔軟なセグメンテーションモデルの展開が制限されている。
– 本研究では、この課題に対応するために、Zero-shot Unsupervised Transfer Instance Segmentation (ZUTIS)というフレームワークを提案する。
– ZUTISの主な強みは、以下のとおりである。
– インスタンスレベルまたはピクセルレベルの注釈が必要ないこと。
– ゼロショット転送の能力、つまりターゲットデータ分布へのアクセスが前提でないこと。
– セマンティックセグメンテーションとインスタンスセグメンテーションのための統一されたフレームワークを提供し、従来の無監視手法と比較して、両タスクで堅牢なパフォーマンスを発揮することができること。
– 前の研究と比較して、ZUTISはCOCO-20Kで2.2マスクAP、ImageNet-Sで919カテゴリのインスタンスとセマンティックセグメンテーションの両方で14.5 mIoUの改善を示した。
– コードは一般公開されている。

要約(オリジナル)

Segmentation is a core computer vision competency, with applications spanning a broad range of scientifically and economically valuable domains. To date, however, the prohibitive cost of annotation has limited the deployment of flexible segmentation models. In this work, we propose Zero-shot Unsupervised Transfer Instance Segmentation (ZUTIS), a framework that aims to meet this challenge. The key strengths of ZUTIS are: (i) no requirement for instance-level or pixel-level annotations; (ii) an ability of zero-shot transfer, i.e., no assumption on access to a target data distribution; (iii) a unified framework for semantic and instance segmentations with solid performance on both tasks compared to state-of-the-art unsupervised methods. While comparing to previous work, we show ZUTIS achieves a gain of 2.2 mask AP on COCO-20K and 14.5 mIoU on ImageNet-S with 919 categories for instance and semantic segmentations, respectively. The code is made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI