Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task

要約

自動運転では、綿密にトレーニングされたモデルであっても、不慣れなシナリオに直面すると障害が発生する可能性があります。
これらのシナリオの 1 つは、オンライン継続学習 (OCL) 問題として定式化できます。
つまり、データはオンライン形式で提供され、モデルはこれらのストリーミング データに従って更新されます。
OCL の 2 つの主要な課題は、壊滅的な忘却とデータの不均衡です。
これらの課題に対処するために、この論文では、Analytic Exemplar-Free Online Continual Learning アルゴリズム (AEF-OCL) を提案します。
AEF-OCL は、分析的継続学習原理を活用し、大規模なバックボーン ネットワークによって抽出された特徴の分類器としてリッジ回帰を採用します。
これは、分析解を再帰的に計算することによって OCL 問題を解決し、継続学習とそれに対応する共同学習の間の均等化を保証し、使用したサンプルを保存する必要なく (つまり、サンプルなしで) 機能します。
さらに、各クラスの実特徴の平均と分散を再帰的に推定する疑似特徴ジェネレーター (PFG) モジュールを導入します。
実際の特徴と同じ正規分布からオフセット擬似特徴をオーバーサンプリングすることで、データの不均衡の問題に対処します。
実験結果は、サンプルを使用しない戦略であるにもかかわらず、私たちの方法が自動運転 SODA10M データセットに対してさまざまな方法よりも優れていることを示しています。
ソース コードは https://github.com/ZHUANGHP/Analytic-continual-learning で入手できます。

要約(オリジナル)

In autonomous driving, even a meticulously trained model can encounter failures when facing unfamiliar scenarios. One of these scenarios can be formulated as an online continual learning (OCL) problem. That is, data come in an online fashion, and models are updated according to these streaming data. Two major OCL challenges are catastrophic forgetting and data imbalance. To address these challenges, in this paper, we propose an Analytic Exemplar-Free Online Continual Learning algorithm (AEF-OCL). The AEF-OCL leverages analytic continual learning principles and employs ridge regression as a classifier for features extracted by a large backbone network. It solves the OCL problem by recursively calculating the analytical solution, ensuring an equalization between the continual learning and its joint-learning counterpart, and works without the need to save any used samples (i.e., exemplar-free). Additionally, we introduce a Pseudo-Features Generator (PFG) module that recursively estimates the mean and the variance of real features for each class. It over-samples offset pseudo-features from the same normal distribution as the real features, thereby addressing the data imbalance issue. Experimental results demonstrate that despite being an exemplar-free strategy, our method outperforms various methods on the autonomous driving SODA10M dataset. Source code is available at https://github.com/ZHUANGHP/Analytic-continual-learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google