Watch Your Step: Optimal Retrieval for Continual Learning at Scale

要約

継続学習で最も広く使用されているアプローチの 1 つは、リプレイと呼ばれます。
再生メソッドは、過去のエクスペリエンスを再生バッファーに保存することにより、インターリーブ学習をサポートします。
バッファを選択的に構築し、その内容を再処理する方法はありますが、バッファからサンプルを選択的に取得する問題の調査は限られています。
現在のソリューションは、限られた設定でテストされており、さらに重要なことに、個別にテストされています。
既存の研究では、重複したリプレイがパフォーマンスに及ぼす影響についても調査されていません。
この研究では、単純で独立したクラスおよびサンプル選択プリミティブによって分類された、選択的検索戦略を評価するためのフレームワークを提案します。
選択的検索のための既存の戦略のいくつかの組み合わせを評価し、そのパフォーマンスを示しました。
さらに、重複再生を防止し、損失値の低い新しいサンプルを再生なしで学習できるかどうかを調査するための一連の戦略を提案します。
問題設定を現実的な継続学習パイプラインに一致させるため、実験を、15 のデータセットのシーケンスで完全に微調整された、事前トレーニングされた大規模なオープン語彙オブジェクト検出モデルを含む設定に限定しました。

要約(オリジナル)

One of the most widely used approaches in continual learning is referred to as replay. Replay methods support interleaved learning by storing past experiences in a replay buffer. Although there are methods for selectively constructing the buffer and reprocessing its contents, there is limited exploration of the problem of selectively retrieving samples from the buffer. Current solutions have been tested in limited settings and, more importantly, in isolation. Existing work has also not explored the impact of duplicate replays on performance. In this work, we propose a framework for evaluating selective retrieval strategies, categorized by simple, independent class- and sample-selective primitives. We evaluated several combinations of existing strategies for selective retrieval and present their performances. Furthermore, we propose a set of strategies to prevent duplicate replays and explore whether new samples with low loss values can be learned without replay. In an effort to match our problem setting to a realistic continual learning pipeline, we restrict our experiments to a setting involving a large, pre-trained, open vocabulary object detection model, which is fully fine-tuned on a sequence of 15 datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google