PILOT: A Pre-Trained Model-Based Continual Learning Toolbox

要約

従来の機械学習は幅広い問題に効果的に対処できますが、主に閉じられた世界の設定内で動作するため、ストリーミング データを扱う際に制限が生じます。
解決策として、新しいデータの到着を伴う現実世界のシナリオに対処するために、増分学習が登場します。
最近、事前トレーニングは大きな進歩を遂げ、多くの研究者の注目を集めています。
これらの事前トレーニング済みモデル (PTM) の優れたパフォーマンスは、現実世界のシナリオに効果的に適応できる継続学習アルゴリズムを開発するための有望な手段となります。
したがって、増分学習における PTM の利用を検討することが不可欠になっています。
このペーパーでは、PILOT として知られる事前トレーニングされたモデルベースの継続学習ツールボックスを紹介します。
一方では、PILOT は、L2P、DualPrompt、CODA-Prompt などの事前トレーニングされたモデルに基づいた、いくつかの最先端のクラス増分学習アルゴリズムを実装しています。
一方、PILOT は、事前トレーニングされたモデルのコンテキスト内で典型的なクラス増分学習アルゴリズム (DER、FOSTER、MEMO など) を適合させて、その有効性を評価します。

要約(オリジナル)

While traditional machine learning can effectively tackle a wide range of problems, it primarily operates within a closed-world setting, which presents limitations when dealing with streaming data. As a solution, incremental learning emerges to address real-world scenarios involving new data’s arrival. Recently, pre-training has made significant advancements and garnered the attention of numerous researchers. The strong performance of these pre-trained models (PTMs) presents a promising avenue for developing continual learning algorithms that can effectively adapt to real-world scenarios. Consequently, exploring the utilization of PTMs in incremental learning has become essential. This paper introduces a pre-trained model-based continual learning toolbox known as PILOT. On the one hand, PILOT implements some state-of-the-art class-incremental learning algorithms based on pre-trained models, such as L2P, DualPrompt, and CODA-Prompt. On the other hand, PILOT also fits typical class-incremental learning algorithms (e.g., DER, FOSTER, and MEMO) within the context of pre-trained models to evaluate their effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google