Just Say the Name: Online Continual Learning with Category Names Only via Data Generation

要約

現実のシナリオでは、継続的な学習のための大規模な手動アノテーションは、法外なコストのため非現実的です。
従来技術は、大規模な Web による教師ありトレーニングの影響を受け、Web スクレイピングされたデータを継続学習に活用することを提案していますが、これにより、データの不均衡、使用制限、プライバシーの懸念などの課題が生じます。
継続的なウェブ上での教師付きトレーニングのリスクに対処するために、私たちはオンラインの継続的学習フレームワークである生成名のみの継続的学習 (G-NoCL) を紹介します。
提案された G-NoCL は、学習器とともにジェネレーター G のセットを使用します。
新しい概念 (つまり、クラス) に遭遇した場合、G-NoCL は、新しいサンプル複雑さ誘導データ アンサンブル技術 DIverSity および COmplexity Enhancement ensemBlER (DISCOBER) を採用して、生成されたデータからトレーニング データを最適にサンプリングします。
広範な実験を通じて、G-NoCL オンライン CL ベンチマークにおける DISCOBER の優れたパフォーマンスを実証し、単純なジェネレーター アンサンブル、Web 監視下、および
手動で注釈が付けられたデータ。

要約(オリジナル)

In real-world scenarios, extensive manual annotation for continual learning is impractical due to prohibitive costs. Although prior arts, influenced by large-scale webly supervised training, suggest leveraging web-scraped data in continual learning, this poses challenges such as data imbalance, usage restrictions, and privacy concerns. Addressing the risks of continual webly supervised training, we present an online continual learning framework – Generative Name only Continual Learning (G-NoCL). The proposed G-NoCL uses a set of generators G along with the learner. When encountering new concepts (i.e., classes), G-NoCL employs the novel sample complexity-guided data ensembling technique DIverSity and COmplexity enhancing ensemBlER (DISCOBER) to optimally sample training data from generated data. Through extensive experimentation, we demonstrate superior performance of DISCOBER in G-NoCL online CL benchmarks, covering both In-Distribution (ID) and Out-of-Distribution (OOD) generalization evaluations, compared to naive generator-ensembling, web-supervised, and manually annotated data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google