Same accuracy, twice as fast: continuous training surpasses retraining from scratch

要約

継続的な学習は、以前に学習したデータでパフォーマンスを失うことなく、モデルが新しいデータセットに適応できるようにすることを目的としています。
ただし、多くの実際のシナリオでは、古いデータと新しいデータの両方にアクセスできます。
このような場合、両方のデータセットでの良好なパフォーマンスは、通常、以前のデータでトレーニングされたモデルを放棄し、両方のデータセットでゼロから新しいモデルを再トレーニングすることにより達成されます。
ゼロからのこのトレーニングは、計算的に高価です。
対照的に、以前に訓練されたモデルと古いデータを活用する方法は、計算コストを大幅に削減できるため、調査に値します。
私たちの評価フレームワークは、トレーニングのパフォーマンスをゼロから維持またはそれを超えながら、そのような方法の計算節約を定量化します。
それぞれが計算コストの削減に貢献できる、初期化、正則化、データ選択、ハイパーパラメーターなどの主要な最適化の側面を特定します。
各側面について、既に大幅な計算節約をもたらす効果的な第1段階の方法を提案します。
これらの方法を組み合わせることにより、さまざまなコンピュータービジョンタスクにわたって計算時間が最大2.7倍削減され、この分野のさらなる進歩の可能性を強調します。

要約(オリジナル)

Continual learning aims to enable models to adapt to new datasets without losing performance on previously learned data, often assuming that prior data is no longer available. However, in many practical scenarios, both old and new data are accessible. In such cases, good performance on both datasets is typically achieved by abandoning the model trained on the previous data and re-training a new model from scratch on both datasets. This training from scratch is computationally expensive. In contrast, methods that leverage the previously trained model and old data are worthy of investigation, as they could significantly reduce computational costs. Our evaluation framework quantifies the computational savings of such methods while maintaining or exceeding the performance of training from scratch. We identify key optimization aspects — initialization, regularization, data selection, and hyper-parameters — that can each contribute to reducing computational costs. For each aspect, we propose effective first-step methods that already yield substantial computational savings. By combining these methods, we achieve up to 2.7x reductions in computation time across various computer vision tasks, highlighting the potential for further advancements in this area.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google