A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods

要約

マルチタスク学習 (MTL) は、自然言語処理 (NLP) でますます人気が高まっています。これは、関連するタスクの共通点と相違点を利用してパフォーマンスを向上させるためです。
それにもかかわらず、トレーニングタスクの関連性に基づいてマルチタスク学習をどのように実装できるかはまだよくわかっていません。
この調査では、NLP におけるマルチタスク学習方法の最近の進歩をレビューし、タスクの関連性に基づいて、(i) ジョイント トレーニングと (ii) マルチステップ トレーニングの 2 つの一般的なマルチタスク トレーニング方法に要約することを目的としています。
.
さまざまな NLP ダウンストリーム アプリケーションの例を示し、タスクの関係を要約し、この有望なトピックの将来の方向性について説明します。

要約(オリジナル)

Multi-task learning (MTL) has become increasingly popular in natural language processing (NLP) because it improves the performance of related tasks by exploiting their commonalities and differences. Nevertheless, it is still not understood very well how multi-task learning can be implemented based on the relatedness of training tasks. In this survey, we review recent advances of multi-task learning methods in NLP, with the aim of summarizing them into two general multi-task training methods based on their task relatedness: (i) joint training and (ii) multi-step training. We present examples in various NLP downstream applications, summarize the task relationships and discuss future directions of this promising topic.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google