Sequence-to-Sequence Spanish Pre-trained Language Models

要約

近年、事前トレーニング済み言語モデルの大幅な進歩により、エンコーダのみおよびデコーダのみのアーキテクチャに特に重点を置いた、英語以外の言語のバリアントが数多く作成されるようになりました。
BERT および GPT に基づくスペイン語モデルは、自然言語の理解と生成において熟練していることを実証していますが、入力シーケンスをマップして条件付きで出力シーケンスを生成することを目的とした、シーケンス間のタスク用に明示的に設計されたエンコーダー/デコーダー モデルは依然として顕著に不足しています。
。
この論文は、スペイン語コーパスのみで事前トレーニングされた有名なエンコーダ/デコーダ アーキテクチャの実装と評価を紹介することにより、新境地を開拓します。
具体的には、BART、T5、および BERT2BERT スタイルのモデルのスペイン語版を提示し、要約、質問応答、分割と言い換え、対話、翻訳などのさまざまなシーケンス間のタスクにわたる包括的な評価を行います。
私たちの調査結果は、すべてのモデルの競争力のあるパフォーマンスを強調しており、BART および T5 ベースのモデルがすべてのタスクにわたってトップパフォーマンスとして浮上しています。
スペイン語 NLP の将来の探索と進歩を促進するために、すべてのモデルを研究コミュニティに公開しました: https://github.com/vgaraujov/Seq2Seq-Spanish-PLMs。

要約(オリジナル)

In recent years, significant advancements in pre-trained language models have driven the creation of numerous non-English language variants, with a particular emphasis on encoder-only and decoder-only architectures. While Spanish language models based on BERT and GPT have demonstrated proficiency in natural language understanding and generation, there remains a noticeable scarcity of encoder-decoder models explicitly designed for sequence-to-sequence tasks, which aim to map input sequences to generate output sequences conditionally. This paper breaks new ground by introducing the implementation and evaluation of renowned encoder-decoder architectures exclusively pre-trained on Spanish corpora. Specifically, we present Spanish versions of BART, T5, and BERT2BERT-style models and subject them to a comprehensive assessment across various sequence-to-sequence tasks, including summarization, question answering, split-and-rephrase, dialogue, and translation. Our findings underscore the competitive performance of all models, with the BART- and T5-based models emerging as top performers across all tasks. We have made all models publicly available to the research community to foster future explorations and advancements in Spanish NLP: https://github.com/vgaraujov/Seq2Seq-Spanish-PLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google