Image to Pseudo-Episode: Boosting Few-Shot Segmentation by Unlabeled Data

要約

フューショット セグメンテーション (FSS) は、少数のラベル付きサンプルを使用して新しいクラスからオブジェクトをセグメント化できるモデルをトレーニングすることを目的としています。
モデルに新しいクラスからの十分なラベル付きデータが不足している場合、モデルの一般化能力が不十分であるため、パフォーマンスが不十分になります。
ラベルなしのデータが豊富に存在することを考慮すると、これらのさまざまなデータを活用することで汎化能力の向上が期待されます。
ラベルなしデータを活用するために、ラベルなしデータから疑似エピソードを生成する Image to Pseudo-episode (IPE) という新しい方法を提案します。
具体的には、私たちのメソッドには、疑似ラベル生成モジュールとエピソード生成モジュールの 2 つのモジュールが含まれています。
前者のモジュールはスペクトル クラスタリング アルゴリズムによってラベルなしの画像から擬似ラベルを生成し、後者のモジュールはデータ拡張手法によって擬似ラベル付き画像から擬似エピソードを生成します。
PASCAL-$5^i$ と COCO-$20^i$ に関する広範な実験により、私たちの方法が FSS の最先端のパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Few-shot segmentation (FSS) aims to train a model which can segment the object from novel classes with a few labeled samples. The insufficient generalization ability of models leads to unsatisfactory performance when the models lack enough labeled data from the novel classes. Considering that there are abundant unlabeled data available, it is promising to improve the generalization ability by exploiting these various data. For leveraging unlabeled data, we propose a novel method, named Image to Pseudo-Episode (IPE), to generate pseudo-episodes from unlabeled data. Specifically, our method contains two modules, i.e., the pseudo-label generation module and the episode generation module. The former module generates pseudo-labels from unlabeled images by the spectral clustering algorithm, and the latter module generates pseudo-episodes from pseudo-labeled images by data augmentation methods. Extensive experiments on PASCAL-$5^i$ and COCO-$20^i$ demonstrate that our method achieves the state-of-the-art performance for FSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google