SEAL: Searching Expandable Architectures for Incremental Learning

要約

インクリメンタル学習は、モデルがタスクの連続ストリームから学習する機械学習パラダイムです。
この設定は、可塑性（新しいタスクの学習）と安定性（過去の知識の保存）のバランスをとる重要な課題をもたらします。
AutomlのブランチであるNeural Architecture Search（NAS）は、深いニューラルネットワークのアーキテクチャの設計を自動化し、静的設定で成功を示しています。
ただし、インクリメンタル学習への既存のNASベースのアプローチは、多くの場合、すべてのタスクでモデルを拡大することに依存しており、リソースに制約のある環境では実用的ではありません。
この作業では、データインクリメンタル学習に合わせたNASベースのフレームワークであるSEALを紹介します。これは、分離データサンプルが順番に到着し、将来のアクセスのために保存されないシナリオです。
シールは、容量推定メトリックに基づいて、必要な場合にのみ拡張することにより、モデル構造を動的に適応させます。
安定性は、各拡張ステップの後に間隔を空けたトレーニングを通じて保存されます。
NASコンポーネントは、アーキテクチャと最適な拡張ポリシーの両方を共同で検索します。
複数のベンチマークにわたる実験は、シールが忘却を効果的に減らし、以前の方法と比較してより低いモデルサイズを維持しながら精度を向上させることを示しています。
これらの結果は、NASと選択的拡張を組み合わせて、漸進的なシナリオで効率的で適応性のある学習のための選択的拡張の約束を強調しています。

要約(オリジナル)

Incremental learning is a machine learning paradigm where a model learns from a sequential stream of tasks. This setting poses a key challenge: balancing plasticity (learning new tasks) and stability (preserving past knowledge). Neural Architecture Search (NAS), a branch of AutoML, automates the design of the architecture of Deep Neural Networks and has shown success in static settings. However, existing NAS-based approaches to incremental learning often rely on expanding the model at every task, making them impractical in resource-constrained environments. In this work, we introduce SEAL, a NAS-based framework tailored for data-incremental learning, a scenario where disjoint data samples arrive sequentially and are not stored for future access. SEAL adapts the model structure dynamically by expanding it only when necessary, based on a capacity estimation metric. Stability is preserved through cross-distillation training after each expansion step. The NAS component jointly searches for both the architecture and the optimal expansion policy. Experiments across multiple benchmarks demonstrate that SEAL effectively reduces forgetting and enhances accuracy while maintaining a lower model size compared to prior methods. These results highlight the promise of combining NAS and selective expansion for efficient, adaptive learning in incremental scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google