Learning from the Web: Language Drives Weakly-Supervised Incremental Learning for Semantic Segmentation

要約

現在の弱教師付き逐次学習によるセマンティックセグメンテーション（WILSS）アプローチでは、ピクセルレベルの注釈を画像レベルのラベルに置き換えることしか考慮されていない。本研究では、広く利用可能なウェブ画像も新しいクラスの学習に利用できることを主張する。これを実現するために、まず、フーリエベースの領域識別器を用いて、潜在空間において以前に見た例と類似しているウェブ画像を選択する戦略を導入する。次に、以前に学習したクラスを保持するために、効果的なキャプション駆動型再ハーサル戦略を提案する。我々の知る限り、これはWILSSにおける新しい概念の学習と既に学習された概念の保存の両方にウェブ画像のみに依存した最初の研究である。実験結果は、提案アプローチが、手動で選択され注釈が付けられたデータを漸進的ステップに用いることなく、最先端の性能を達成できることを示している。

要約(オリジナル)

Current weakly-supervised incremental learning for semantic segmentation (WILSS) approaches only consider replacing pixel-level annotations with image-level labels, while the training images are still from well-designed datasets. In this work, we argue that widely available web images can also be considered for the learning of new classes. To achieve this, firstly we introduce a strategy to select web images which are similar to previously seen examples in the latent space using a Fourier-based domain discriminator. Then, an effective caption-driven reharsal strategy is proposed to preserve previously learnt classes. To our knowledge, this is the first work to rely solely on web images for both the learning of new concepts and the preservation of the already learned ones in WILSS. Experimental results show that the proposed approach can reach state-of-the-art performances without using manually selected and annotated data in the incremental steps.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL