Improving information retention in large scale online continual learning

要約

非定常分布からサンプリングされたデータ ストリームが与えられると、オンライン継続学習 (OCL) は、既存の知識を保持しながら新しいデータに効率的に適応することを目的としています。
情報の保持 (以前の知識を保持する機能) に対処するための一般的なアプローチは、固定サイズのリプレイ バッファーを保持し、新しいデータとリプレイ バッファーの混合を使用して勾配を計算することです。
驚くべきことに、最近の研究 (Cai et al., 2021) では、リプレイ バッファーが無制限の場合、つまり過去のすべてのデータを使用して勾配が計算される場合でも、大規模な OCL では情報保持の問題が残ることが示唆されています。
このホワイト ペーパーでは、情報保持を理解して対処するために、この特殊性に焦点を当てます。
この問題の原因を特定するために、厳密なストレージ制限がなくても、各時間ステップでの計算予算が限られている場合、一定または常に減少する学習率で単純に SGD を適用しても、長期的には情報保持を最適化できないことを理論的に示します。
非定常目標の最適化を改善するために、移動平均ファミリーの方法を使用することを提案します。
具体的には、適応移動平均 (AMA) オプティマイザーと移動平均ベースの学習率スケジュール (MALR) を設計します。
継続的ローカリゼーション (CLOC)、Google ランドマーク、ImageNet などの大規模なベンチマークで AMA+MALR の有効性を実証します。
コードは公開時に公開されます。

要約(オリジナル)

Given a stream of data sampled from non-stationary distributions, online continual learning (OCL) aims to adapt efficiently to new data while retaining existing knowledge. The typical approach to address information retention (the ability to retain previous knowledge) is keeping a replay buffer of a fixed size and computing gradients using a mixture of new data and the replay buffer. Surprisingly, the recent work (Cai et al., 2021) suggests that information retention remains a problem in large scale OCL even when the replay buffer is unlimited, i.e., the gradients are computed using all past data. This paper focuses on this peculiarity to understand and address information retention. To pinpoint the source of this problem, we theoretically show that, given limited computation budgets at each time step, even without strict storage limit, naively applying SGD with constant or constantly decreasing learning rates fails to optimize information retention in the long term. We propose using a moving average family of methods to improve optimization for non-stationary objectives. Specifically, we design an adaptive moving average (AMA) optimizer and a moving-average-based learning rate schedule (MALR). We demonstrate the effectiveness of AMA+MALR on large-scale benchmarks, including Continual Localization (CLOC), Google Landmarks, and ImageNet. Code will be released upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google