Theory on Mixture-of-Experts in Continual Learning

要約

継続的な学習（CL）は、時間の経過とともに到着する新しいタスクに適応する能力のために、大きな注目を集めています。
（古いタスクの）壊滅的な忘却は、モデルが新しいタスクに適応するため、CLの主要な問題として特定されています。
Experts（MOE）モデルは最近、ゲーティングネットワークを採用して複数の専門家の間で多様なタスクをスパース化および配布することにより、CLで壊滅的な忘却を効果的に緩和することが最近示されました。
ただし、MOEの理論的分析とCLの学習パフォーマンスへの影響が不足しています。
このホワイトペーパーでは、オーバーパラメーター化された線形回帰タスクのレンズを介したCLにおけるMOEの影響を特徴付ける最初の理論的結果を提供します。
MOEモデルが専門家を多様化してさまざまなタスクに特化できることを証明することにより、MOEの利益を確立し、そのルーターは各タスクに適した専門家を選択し、すべての専門家の負荷のバランスをとることを学びます。
私たちの研究はさらに、CLのMOEがシステムの収束を達成するのに十分なトレーニングラウンドの後、ゲーティングネットワークの更新を終了する必要があるという興味深い事実を示唆しています。
さらに、CLの学習パフォーマンスにおけるMOEの利点を特徴付けるために、予想される忘却エラーと全体的な一般化エラーの明示的な表現を提供します。
興味深いことに、より多くの専門家を追加するには、収束の前に追加のラウンドが必要です。これは、学習パフォーマンスを向上させない場合があります。
最後に、合成データセットと実際のデータセットの両方で実験を実施して、これらの洞察を線形モデルからディープニューラルネットワーク（DNNS）に拡張します。これは、CLのMOEの実用的なアルゴリズム設計にも光を当てています。

要約(オリジナル)

Continual learning (CL) has garnered significant attention because of its ability to adapt to new tasks that arrive over time. Catastrophic forgetting (of old tasks) has been identified as a major issue in CL, as the model adapts to new tasks. The Mixture-of-Experts (MoE) model has recently been shown to effectively mitigate catastrophic forgetting in CL, by employing a gating network to sparsify and distribute diverse tasks among multiple experts. However, there is a lack of theoretical analysis of MoE and its impact on the learning performance in CL. This paper provides the first theoretical results to characterize the impact of MoE in CL via the lens of overparameterized linear regression tasks. We establish the benefit of MoE over a single expert by proving that the MoE model can diversify its experts to specialize in different tasks, while its router learns to select the right expert for each task and balance the loads across all experts. Our study further suggests an intriguing fact that the MoE in CL needs to terminate the update of the gating network after sufficient training rounds to attain system convergence, which is not needed in the existing MoE studies that do not consider the continual task arrival. Furthermore, we provide explicit expressions for the expected forgetting and overall generalization error to characterize the benefit of MoE in the learning performance in CL. Interestingly, adding more experts requires additional rounds before convergence, which may not enhance the learning performance. Finally, we conduct experiments on both synthetic and real datasets to extend these insights from linear models to deep neural networks (DNNs), which also shed light on the practical algorithm design for MoE in CL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google