A Comprehensive Empirical Evaluation on Online Continual Learning

要約

オンライン継続学習は、時間的にシフトする分布を持つデータのストリームを直接学習し、そのストリームから最小限のデータを保存することにより、ライブ学習体験に近づけることを目的としている。この実証的評価では、オンライン継続学習に取り組む文献の様々な手法を評価する。より具体的には、学習者がデータのストリームから新しいクラスをインクリメンタルに学習しなければならない、画像分類の文脈におけるクラスインクリメンタルな設定に焦点を当てる。Split-CIFAR100とSplit-TinyImagenetベンチマークでこれらの手法を比較し、平均精度、忘却、安定性、表現の質を測定することで、学習終了時だけでなく学習期間全体におけるアルゴリズムの様々な側面を評価する。我々は、ほとんどの手法が安定性とアンダーフィッティングの問題に悩まされていることを発見した。しかし、学習された表現は、同じ計算予算の下で、i.i.d.学習と同等である。結果から明確な勝者は現れず、基本的な経験再生は、適切に調整され実装された場合、非常に強力なベースラインとなる。我々は、我々の結果を再現し、将来の研究を奨励するために、avalancheフレームワークに基づいて、モジュラーで拡張可能なコードベースをhttps://github.com/AlbinSou/ocl_survey。

要約(オリジナル)

Online continual learning aims to get closer to a live learning experience by learning directly on a stream of data with temporally shifting distribution and by storing a minimum amount of data from that stream. In this empirical evaluation, we evaluate various methods from the literature that tackle online continual learning. More specifically, we focus on the class-incremental setting in the context of image classification, where the learner must learn new classes incrementally from a stream of data. We compare these methods on the Split-CIFAR100 and Split-TinyImagenet benchmarks, and measure their average accuracy, forgetting, stability, and quality of the representations, to evaluate various aspects of the algorithm at the end but also during the whole training period. We find that most methods suffer from stability and underfitting issues. However, the learned representations are comparable to i.i.d. training under the same computational budget. No clear winner emerges from the results and basic experience replay, when properly tuned and implemented, is a very strong baseline. We release our modular and extensible codebase at https://github.com/AlbinSou/ocl_survey based on the avalanche framework to reproduce our results and encourage future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL