Semantic-Promoted Debiasing and Background Disambiguation for Zero-Shot Instance Segmentation

要約

ゼロショット インスタンス セグメンテーションは、トレーニング サンプルを使用せずに、目に見えないカテゴリのオブジェクトを検出し、正確にセグメント化することを目的としています。
モデルは可視カテゴリに基づいてトレーニングされるため、モデルにはすべてのオブジェクトが可視カテゴリに分類される傾向があるという強いバイアスが存在します。
さらに、背景と、トレーニングでは決して現れなかった新しいオブジェクトとの間には、当然の混乱が生じます。
これら 2 つの課題により、最終的なインスタンスのセグメンテーション結果で新しいオブジェクトが取り上げられにくくなります。
新しいオブジェクトを背景や主要な見られるカテゴリから救い出すことが望まれます。
この目的のために、ゼロショット インスタンス セグメンテーションのパフォーマンスを向上させるために、セマンティック促進されたバイアス除去と背景の曖昧さ回避を備えた D$^2$Zero を提案します。
セマンティック促進された偏り解消は、クラス間のセマンティック関係を利用して、目に見えないカテゴリを視覚特徴トレーニングに関与させ、入力条件付き分類器を学習して入力画像に基づいて動的分類を実行します。
背景の曖昧さの解消により、画像に適応した背景表現が生成され、新しいオブジェクトを背景と誤認することがなくなります。
広範な実験により、従来の最先端の方法を大幅に上回るパフォーマンスが示されています (例: COCO で 16.86% 改善)。
プロジェクトページ: https://henghuiding.github.io/D2Zero/

要約(オリジナル)

Zero-shot instance segmentation aims to detect and precisely segment objects of unseen categories without any training samples. Since the model is trained on seen categories, there is a strong bias that the model tends to classify all the objects into seen categories. Besides, there is a natural confusion between background and novel objects that have never shown up in training. These two challenges make novel objects hard to be raised in the final instance segmentation results. It is desired to rescue novel objects from background and dominated seen categories. To this end, we propose D$^2$Zero with Semantic-Promoted Debiasing and Background Disambiguation to enhance the performance of Zero-shot instance segmentation. Semantic-promoted debiasing utilizes inter-class semantic relationships to involve unseen categories in visual feature training and learns an input-conditional classifier to conduct dynamical classification based on the input image. Background disambiguation produces image-adaptive background representation to avoid mistaking novel objects for background. Extensive experiments show that we significantly outperform previous state-of-the-art methods by a large margin, e.g., 16.86% improvement on COCO. Project page: https://henghuiding.github.io/D2Zero/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google