What Can AutoML Do For Continual Learning?

要約

この意見書では、この方向でのさらなる研究を奨励するための増分 (継続的) 学習に対する AutoML の可能性について概説します。
増分学習には、強化された深い表現を学習し、新しいタスクによりよく適応するために、タスクおよび分布のストリームから新しいデータを組み込むことが含まれます。
ただし、増分学習器の重大な制限は、現在の技術のほとんどが学習と適応のプロセス全体を通じてバックボーン アーキテクチャ、ハイパーパラメータ、学習タスクの順序と構造を固定していることです。
私たちは、AutoML がこれらの制限に対処する有望なソリューションを提供し、より多様な現実世界のタスクに適応する漸進的な学習を可能にすると強く信じています。
したがって、この論文では、新しい方法を直接提案するのではなく、「AutoML は増分学習に対して何ができるのか?」という質問を提起することで一歩下がっています。
私たちは、段階的学習者をよりダイナミックにすることに貢献できる 3 つの重要な研究分野を概説し、AutoML 研究のまったく新しい課題だけでなく、新しい方法で AutoML 手法を適用する具体的な機会を強調します。

要約(オリジナル)

This position paper outlines the potential of AutoML for incremental (continual) learning to encourage more research in this direction. Incremental learning involves incorporating new data from a stream of tasks and distributions to learn enhanced deep representations and adapt better to new tasks. However, a significant limitation of incremental learners is that most current techniques freeze the backbone architecture, hyperparameters, and the order & structure of the learning tasks throughout the learning and adaptation process. We strongly believe that AutoML offers promising solutions to address these limitations, enabling incremental learning to adapt to more diverse real-world tasks. Therefore, instead of directly proposing a new method, this paper takes a step back by posing the question: ‘What can AutoML do for incremental learning?’ We outline three key areas of research that can contribute to making incremental learners more dynamic, highlighting concrete opportunities to apply AutoML methods in novel ways as well as entirely new challenges for AutoML research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google