Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)

要約

この論文では、事前トレーニング済みのエンコーダ/デコーダ モデル、特に T5 を、ターゲット タスクの予測のための言語知識で強化することの影響を調査します。
特に、文の構造的言語特性を予測する中間タスクで T5 モデルを微調整すると、文レベルの複雑さを予測するターゲット タスクのパフォーマンスが変化するかどうかを調査します。
私たちの研究には、さまざまなサイズの単言語と多言語の両方の T5 モデルを使用して、イタリア語と英語のデータセットで実施されたさまざまな実験が含まれています。
両方の言語および言語間構成で得られた結果は、特に小規模なモデルや利用可能なデータが限られているシナリオに適用した場合、言語を動機とした中間微調整が一般にターゲット タスクのパフォーマンスにプラスの影響を与えることを示しています。

要約(オリジナル)

In this paper, we explore the impact of augmenting pre-trained Encoder-Decoder models, specifically T5, with linguistic knowledge for the prediction of a target task. In particular, we investigate whether fine-tuning a T5 model on an intermediate task that predicts structural linguistic properties of sentences modifies its performance in the target task of predicting sentence-level complexity. Our study encompasses diverse experiments conducted on Italian and English datasets, employing both monolingual and multilingual T5 models at various sizes. Results obtained for both languages and in cross-lingual configurations show that linguistically motivated intermediate fine-tuning has generally a positive impact on target task performance, especially when applied to smaller models and in scenarios with limited data availability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google