Transfer of Structural Knowledge from Synthetic Languages

要約

この作品では、いくつかの合成言語から英語への転送学習を探ります。
微調整されたモデルの埋め込みの構造、含まれる情報、および単純な言語タスク上の微調整されたモデルの機能を調査します。
また、以前の研究で使用されていた言語よりも英語への移転につながる新しい合成言語も紹介します。
最後に、Tiny -Clozeベンチマークを紹介します。これは、強力ではないモデルにとってより有益な自然言語理解のための新しい合成ベンチマークです。
Tiny-Clozeベンチマークを使用して、いくつかのドメインで微調整されたモデルを評価し、新しい合成言語で微調整することで、さまざまなタスクでパフォーマンスを向上させることができます。

要約(オリジナル)

This work explores transfer learning from several synthetic languages to English. We investigate the structure of the embeddings in the fine-tuned models, the information they contain, and the capabilities of the fine-tuned models on simple linguistic tasks. We also introduce a new synthetic language that leads to better transfer to English than the languages used in previous research. Finally, we introduce Tiny-Cloze Benchmark – a new synthetic benchmark for natural language understanding that is more informative for less powerful models. We use Tiny-Cloze Benchmark to evaluate fine-tuned models in several domains demonstrating that fine-tuning on a new synthetic language allows for better performance on a variety of tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google