Is Multi-Task Learning an Upper Bound for Continual Learning?

要約

継続的およびマルチタスク学習は、複数のタスクから学習するための一般的な機械学習アプローチです。
文献の既存の研究では、多くの場合、マルチタスク学習を、さまざまな継続的学習アルゴリズムの実用的なパフォーマンスの上限として想定しています。
この仮定は、さまざまな継続的学習のベンチマークで経験的に検証されていますが、厳密には正当化されていません。
さらに、複数のタスクから学習する場合、これらのタスクの小さなサブセットが敵対的タスクとして動作し、マルチタスク環境での全体的な学習パフォーマンスを低下させる可能性があると想像できます。
対照的に、継続的な学習アプローチは、そのような敵対的なタスクによって引き起こされるパフォーマンスの低下を回避して、残りのタスクでのパフォーマンスを維持することができ、マルチタスク学習者よりも優れたパフォーマンスにつながります.
この論文では、新しい継続的な自己教師あり学習設定を提案します。各タスクは、特定のクラスのデータ拡張の不変表現の学習に対応します。
この設定では、MNIST、CIFAR-10、CIFAR-100 などのさまざまなベンチマーク データセットで、継続的な学習がマルチタスク学習よりも優れていることが多いことを示しています。

要約(オリジナル)

Continual and multi-task learning are common machine learning approaches to learning from multiple tasks. The existing works in the literature often assume multi-task learning as a sensible performance upper bound for various continual learning algorithms. While this assumption is empirically verified for different continual learning benchmarks, it is not rigorously justified. Moreover, it is imaginable that when learning from multiple tasks, a small subset of these tasks could behave as adversarial tasks reducing the overall learning performance in a multi-task setting. In contrast, continual learning approaches can avoid the performance drop caused by such adversarial tasks to preserve their performance on the rest of the tasks, leading to better performance than a multi-task learner. This paper proposes a novel continual self-supervised learning setting, where each task corresponds to learning an invariant representation for a specific class of data augmentations. In this setting, we show that continual learning often beats multi-task learning on various benchmark datasets, including MNIST, CIFAR-10, and CIFAR-100.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google