An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale Multitask Learning Systems

要約

マルチタスク学習では、複数のタスクから学習できるモデルは、人間の学習の重要な機能である知識の伝達を通じて、より高い品質と効率を達成できると想定しています。
ただし、最先端の ML モデルは、各タスクの高度なカスタマイズに依存しており、タスクの数をスケーリングするのではなく、サイズとデータ スケールを活用しています。
また、マルチタスクに一時的な側面を追加する継続的な学習は、次世代の人工知能を構築するための重要な要素として大規模に研究されるのではなく、壊滅的な忘却などの一般的な落とし穴の研究に重点が置かれることがよくあります。
大規模なマルチタスク モデルを生成し、新しいタスクの動的かつ継続的な追加をサポートできる進化的手法を提案します。
生成されたマルチタスク モデルはまばらにアクティブ化され、タスクベースのルーティングを統合します。これにより、モデルが拡張するにつれて、計算コストの制限とタスクごとの追加パラメーターの削減が保証されます。
提案された方法は、壊滅的な忘却や、勾配干渉や負の伝達などの他の一般的な落とし穴に対する免疫を達成するために、知識の区分化手法に依存しています。
提案された方法が 69 の画像分類タスクで競合する結果を共同で解決して達成できることを経験的に示しています。

要約(オリジナル)

Multitask learning assumes that models capable of learning from multiple tasks can achieve better quality and efficiency via knowledge transfer, a key feature of human learning. Though, state of the art ML models rely on high customization for each task and leverage size and data scale rather than scaling the number of tasks. Also, continual learning, that adds the temporal aspect to multitask, is often focused to the study of common pitfalls such as catastrophic forgetting instead of being studied at a large scale as a critical component to build the next generation artificial intelligence. We propose an evolutionary method that can generate a large scale multitask model, and can support the dynamic and continuous addition of new tasks. The generated multitask model is sparsely activated and integrates a task-based routing that guarantees bounded compute cost and fewer added parameters per task as the model expands. The proposed method relies on a knowledge compartmentalization technique to achieve immunity against catastrophic forgetting and other common pitfalls such as gradient interference and negative transfer. We empirically show that the proposed method can jointly solve and achieve competitive results on 69image classification tasks, for example achieving the best test accuracy reported fora model trained only on public data for competitive tasks such as cifar10: 99.43%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google