Improving Continual Learning Performance and Efficiency with Auxiliary Classifiers

要約

継続的な学習は、チャレンジングでダイナミック、そして多くの場合リソースに制約のある環境で機械学習を適用する上で極めて重要である。しかし、新しい情報を得たときに、以前に学習した知識を上書きしてしまう「壊滅的忘却」は、依然として大きな課題である。本研究では、継続学習中のニューラルネットワーク層における中間表現を調べ、そのような表現が忘却を起こしにくく、計算を高速化する可能性があることを明らかにする。これらの発見を動機として、我々は補助分類器(ACs)を用いて性能を向上させることを提案し、ACsを様々な継続学習手法に統合することで、様々な評価設定において一貫して精度が向上し、平均10%の相対的な向上が得られることを実証する。また、ACを活用することで、精度を損なうことなく推論の平均コストを10～60%削減し、モデルが全てのレイヤーを計算する前に予測を返すことを可能にする。我々のアプローチは、継続的学習のためのスケーラブルで効率的なソリューションを提供する。

要約(オリジナル)

Continual learning is crucial for applying machine learning in challenging, dynamic, and often resource-constrained environments. However, catastrophic forgetting – overwriting previously learned knowledge when new information is acquired – remains a major challenge. In this work, we examine the intermediate representations in neural network layers during continual learning and find that such representations are less prone to forgetting, highlighting their potential to accelerate computation. Motivated by these findings, we propose to use auxiliary classifiers(ACs) to enhance performance and demonstrate that integrating ACs into various continual learning methods consistently improves accuracy across diverse evaluation settings, yielding an average 10% relative gain. We also leverage the ACs to reduce the average cost of the inference by 10-60% without compromising accuracy, enabling the model to return the predictions before computing all the layers. Our approach provides a scalable and efficient solution for continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL