Learning to Learn for Few-shot Continual Active Learning

要約

継続的な学習は、新しい領域での可塑性を実証しながら、以前に見たタスクを解決する際の安定性を確保するよう努めます。
CL の最近の進歩は、主に教師あり学習設定、特に NLP ドメインに限定されています。
この作業では、ラベル付きデータが不十分で、ラベルなしデータは豊富だがアノテーションの予算が限られている、少数ショットの継続アクティブ学習 (CAL) 設定を検討します。
私たちは、メタ継続アクティブラーニングと呼ばれる、シンプルだが効率的な方法を提案します。
具体的には、タスク間の混乱と壊滅的な忘れに対処するために、メタ学習と経験の再生を採用します。
さらに、一般化を確実にするためにテキストの拡張を組み込みます。
ベンチマーク テキスト分類データセットに対して広範な実験を実施して、提案された方法の有効性を検証し、少数ショット CAL 設定でのさまざまなアクティブ ラーニング戦略の効果を分析します。
私たちの実験結果は、ランダム サンプリングが、アクティブ ラーニングとメモリ サンプルの選択において、少数ショット CAL 問題を解決するための最良のデフォルト戦略であることを示しています。

要約(オリジナル)

Continual learning strives to ensure stability in solving previously seen tasks while demonstrating plasticity in a novel domain. Recent advances in CL are mostly confined to a supervised learning setting, especially in NLP domain. In this work, we consider a few-shot continual active learning (CAL) setting where labeled data are inadequate, and unlabeled data are abundant but with a limited annotation budget. We propose a simple but efficient method, called Meta-Continual Active Learning. Specifically, we employ meta-learning and experience replay to address inter-task confusion and catastrophic forgetting. We further incorporate textual augmentations to ensure generalization. We conduct extensive experiments on benchmark text classification datasets to validate the effectiveness of the proposed method and analyze the effect of different active learning strategies in few-shot CAL setting. Our experimental results demonstrate that random sampling is the best default strategy for active learning and memory sample selection to solve few-shot CAL problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google