Continual Learning in the Presence of Repetition

要約

継続学習 (CL) は、進化し続ける環境でモデルをトレーニングするためのフレームワークを提供します。
以前に見たオブジェクトやタスクが再度発生することは現実の問題ではよくあることですが、CL の標準ベンチマークではデータ ストリーム内の繰り返しの概念が考慮されることはあまりありません。
サンプルの繰り返しがストラテジーによって制御されるバッファベースのストラテジーのリハーサル メカニズムとは異なり、データ ストリーム内の繰り返しは自然に環境から生じます。
このレポートは、クラス増分学習における反復のトピックに焦点を当てた、CVPR 2023 での CLVision チャレンジの概要を提供します。
レポートでは、最初にチャレンジの目的を概説し、次にファイナリスト チームが提案する 3 つのソリューションについて説明します。これらのソリューションは、ストリーム内の繰り返しを効果的に利用して継続的に学習することを目的としています。
この課題の実験結果は、それぞれが異なるが重複するクラスのサブセットでトレーニングされた、同様のモジュールの複数のバージョンを使用するアンサンブル ベースのソリューションの有効性を強調しています。
このレポートは、データ ストリームの繰り返しを利用して革新的な戦略設計を促進することにより、CL で異なる視点を取り入れることの変革の可能性を強調しています。

要約(オリジナル)

Continual learning (CL) provides a framework for training models in ever-evolving environments. Although re-occurrence of previously seen objects or tasks is common in real-world problems, the concept of repetition in the data stream is not often considered in standard benchmarks for CL. Unlike with the rehearsal mechanism in buffer-based strategies, where sample repetition is controlled by the strategy, repetition in the data stream naturally stems from the environment. This report provides a summary of the CLVision challenge at CVPR 2023, which focused on the topic of repetition in class-incremental learning. The report initially outlines the challenge objective and then describes three solutions proposed by finalist teams that aim to effectively exploit the repetition in the stream to learn continually. The experimental results from the challenge highlight the effectiveness of ensemble-based solutions that employ multiple versions of similar modules, each trained on different but overlapping subsets of classes. This report underscores the transformative potential of taking a different perspective in CL by employing repetition in the data stream to foster innovative strategy design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google