Towards Robust and Efficient Continual Language Learning

要約

言語モデルのアプリケーション空間が進化し続けるにつれて、当然の疑問として、モデルを新しいタスクに迅速に適応させるにはどうすればよいかということが考えられます。
私たちはこの古典的な質問に継続学習の観点からアプローチします。つまり、関連する知識を「伝達する」ことを目的として、過去のタスクでトレーニングされたモデルを新しいタスクで微調整し続けることを目指しています。
ただし、この戦略には、利益よりも害の方が大きい、つまり負の移転をもたらすリスクも伴います。
このペーパーでは、ポジティブな転送の可能性が高いタスク、ネガティブな転送の可能性が高いタスク、期待される効果がないタスク、またはそれぞれの組み合わせなど、直面する可能性のあるさまざまな転送シナリオを対象としたタスクシーケンスの新しいベンチマークを構築します。
。
理想的な学習者は、ポジティブな伝達の可能性があるすべてのタスクからの情報を最大限に活用できると同時に、混乱を招く可能性のある気が散るタスクによる悪影響を回避できる必要があります。
次に、過去のタスク チェックポイントから新しいモデルを初期化するための選択的戦略を活用するだけで、多くの要望を満たす、シンプルでありながら効果的な学習器を提案します。
それでも限界は残っており、このベンチマークがコミュニティによるそのような学習者の構築と分析をさらに進めるのに役立つことを願っています。

要約(オリジナル)

As the application space of language models continues to evolve, a natural question to ask is how we can quickly adapt models to new tasks. We approach this classic question from a continual learning perspective, in which we aim to continue fine-tuning models trained on past tasks on new tasks, with the goal of ‘transferring’ relevant knowledge. However, this strategy also runs the risk of doing more harm than good, i.e., negative transfer. In this paper, we construct a new benchmark of task sequences that target different possible transfer scenarios one might face, such as a sequence of tasks with high potential of positive transfer, high potential for negative transfer, no expected effect, or a mixture of each. An ideal learner should be able to maximally exploit information from all tasks that have any potential for positive transfer, while also avoiding the negative effects of any distracting tasks that may confuse it. We then propose a simple, yet effective, learner that satisfies many of our desiderata simply by leveraging a selective strategy for initializing new models from past task checkpoints. Still, limitations remain, and we hope this benchmark can help the community to further build and analyze such learners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google