Few-Shot Continual Learning via Flat-to-Wide Approaches

要約

継続学習に関する既存のアプローチでは、トレーニング プロセスで多くのサンプルが必要になります。
このようなアプローチは、オーバーフィッティングの問題のため、サンプルが限られている現実世界の問題の多くには実用的ではありません。
この論文では、FLat-tO-WidE AppRoach (FLOWER) と呼ばれる少数ショットの継続学習アプローチを提案します。このアプローチでは、壊滅的な忘却問題に対処するために、フラットワイドの最小値を見つけるフラットからワイドへの学習プロセスが提案されています。
データ不足の問題は、ボール ジェネレーターの概念を利用してサンプリング スペースを最小の囲みボールに制限するデータ拡張アプローチによって克服されます。
私たちの数値研究は、特に小規模な基本タスクにおいて、従来技術に比べてパフォーマンスが大幅に向上した FLOWER の利点を示しています。
さらなる研究のために、FLOWER のソース コード、競合他社のアルゴリズム、実験ログが \url{https://github.com/anwarmaxsum/FLOWER} で公開されています。

要約(オリジナル)

Existing approaches on continual learning call for a lot of samples in their training processes. Such approaches are impractical for many real-world problems having limited samples because of the overfitting problem. This paper proposes a few-shot continual learning approach, termed FLat-tO-WidE AppRoach (FLOWER), where a flat-to-wide learning process finding the flat-wide minima is proposed to address the catastrophic forgetting problem. The issue of data scarcity is overcome with a data augmentation approach making use of a ball generator concept to restrict the sampling space into the smallest enclosing ball. Our numerical studies demonstrate the advantage of FLOWER achieving significantly improved performances over prior arts notably in the small base tasks. For further study, source codes of FLOWER, competitor algorithms and experimental logs are shared publicly in \url{https://github.com/anwarmaxsum/FLOWER}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google