Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task

要約

自動運転の分野では、綿密にトレーニングされたモデルであっても、不慣れなシナリオに直面すると障害が発生する可能性があります。
これらのシナリオの 1 つは、オンライン継続学習 (OCL) 問題として定式化できます。
つまり、データはオンライン形式で提供され、モデルはこれらのストリーミング データに従って更新されます。
OCL の 2 つの主要な課題は、壊滅的な忘却とデータの不均衡です。
これらの課題に対処するために、このホワイト ペーパーでは、Analytic Exemplar-Free Online Continual Learning (AEF-OCL) を提案します。
AEF-OCL は、分析的継続学習原理を活用し、大規模なバックボーン ネットワークによって抽出された特徴の分類器としてリッジ回帰を採用します。
これは、分析解を再帰的に計算することによって OCL 問題を解決し、継続学習とそれに対応する共同学習の間の均等化を保証し、使用したサンプルを保存する必要なく (つまり、サンプルなしで) 動作します。
さらに、実際の特徴の偏差を再帰的に推定する擬似特徴ジェネレーター (PFG) モジュールを導入します。
PFG は正規分布に従ってオフセット擬似特徴を生成するため、データの不均衡の問題に対処できます。
実験結果は、サンプルを使用しない戦略であるにもかかわらず、私たちの方法が自動運転 SODA10M データセットに対してさまざまな方法よりも優れていることを示しています。
ソース コードは https://github.com/ZHUANGHP/Analytic-continual-learning で入手できます。

要約(オリジナル)

In the field of autonomous driving, even a meticulously trained model can encounter failures when faced with unfamiliar sceanrios. One of these scenarios can be formulated as an online continual learning (OCL) problem. That is, data come in an online fashion, and models are updated according to these streaming data. Two major OCL challenges are catastrophic forgetting and data imbalance. To address these challenges, in this paper, we propose an Analytic Exemplar-Free Online Continual Learning (AEF-OCL). The AEF-OCL leverages analytic continual learning principles and employs ridge regression as a classifier for features extracted by a large backbone network. It solves the OCL problem by recursively calculating the analytical solution, ensuring an equalization between the continual learning and its joint-learning counterpart, and works without the need to save any used samples (i.e., exemplar-free). Additionally, we introduce a Pseudo-Features Generator (PFG) module that recursively estimates the deviation of real features. The PFG generates offset pseudo-features following a normal distribution, thereby addressing the data imbalance issue. Experimental results demonstrate that despite being an exemplar-free strategy, our method outperforms various methods on the autonomous driving SODA10M dataset. Source code is available at https://github.com/ZHUANGHP/Analytic-continual-learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google