Towards Label-Efficient Incremental Learning: A Survey

要約

機械学習モデルを構築する際の現在の支配的なパラダイムは、収束するまでデータセットを何度も反復することです。
このようなアプローチは、すべてのカテゴリのすべての画像に一度にアクセスすることを想定しているため、増分的ではありません。
ただし、多くのアプリケーションでは、非増分学習は非現実的です。
そのために、研究者は漸進的学習を研究しています。学習者は、過去の知識を忘れないようにしながら、さまざまな分布の着信データ ストリームに適応する必要があります。
大幅な進歩がありましたが、大多数の作品は完全に監視された設定に焦点を当てているため、これらのアルゴリズムはラベルを必要とし、実際の展開が制限されています.
そのために、この論文では、ラベル効率の高い増分学習に対する最近の関心の高まりを調査する最初の試みを行います。
ラベリングの労力を軽減するために、半、少数ショット、および自己教師あり学習という 3 つのサブディビジョンを識別します。
最後に、ラベル効率をさらに高め、段階的な学習のスケーラビリティを向上させることができる新しい方向性を特定します。
プロジェクトのウェブサイト: https://github.com/kilickaya/label-effective-il。

要約(オリジナル)

The current dominant paradigm when building a machine learning model is to iterate over a dataset over and over until convergence. Such an approach is non-incremental, as it assumes access to all images of all categories at once. However, for many applications, non-incremental learning is unrealistic. To that end, researchers study incremental learning, where a learner is required to adapt to an incoming stream of data with a varying distribution while preventing forgetting of past knowledge. Significant progress has been made, however, the vast majority of works focus on the fully supervised setting, making these algorithms label-hungry thus limiting their real-life deployment. To that end, in this paper, we make the first attempt to survey recently growing interest in label-efficient incremental learning. We identify three subdivisions, namely semi-, few-shot- and self-supervised learning to reduce labeling efforts. Finally, we identify novel directions that can further enhance label-efficiency and improve incremental learning scalability. Project website: https://github.com/kilickaya/label-efficient-il.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google