Optimal Task Order for Continual Learning of Multiple Tasks

要約

複数のタスクの継続的な学習は、神経ネットワークにとって大きな課題のままです。
ここでは、タスクオーダーが継続的な学習にどのように影響するかを調査し、それを最適化するための戦略を提案します。
潜在的な要因を備えた線形の教師学生モデルを活用すると、タスクの類似性と順序付けを学習パフォーマンスに関連付ける分析的な表現を導き出します。
分析では、幅広いパラメーター範囲の下にある2つの原則が明らかになりました。（1）タスクは、最も代表的なものから最も典型的なものに配置する必要があり、（2）隣接するタスクは異なる必要があります。
合成データと現実世界の画像分類データセット（Fashion-Mnist、CIFAR-10、CIFAR-100）の両方でこれらのルールを検証し、多層パーセプトロンと畳み込みニューラルネットワークの両方で一貫したパフォーマンスの改善を示します。
したがって、私たちの仕事は、タスクインクリメンタルの継続的な学習におけるタスクオーダーの最適化のための一般化可能なフレームワークを提示します。

要約(オリジナル)

Continual learning of multiple tasks remains a major challenge for neural networks. Here, we investigate how task order influences continual learning and propose a strategy for optimizing it. Leveraging a linear teacher-student model with latent factors, we derive an analytical expression relating task similarity and ordering to learning performance. Our analysis reveals two principles that hold under a wide parameter range: (1) tasks should be arranged from the least representative to the most typical, and (2) adjacent tasks should be dissimilar. We validate these rules on both synthetic data and real-world image classification datasets (Fashion-MNIST, CIFAR-10, CIFAR-100), demonstrating consistent performance improvements in both multilayer perceptrons and convolutional neural networks. Our work thus presents a generalizable framework for task-order optimization in task-incremental continual learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google