GreekBART: The First Pretrained Greek Sequence-to-Sequence Model

要約

タイトル：ギリシャ語のシーケンスツーシーケンスモデルであるGreekBARTが最初の事前学習モデルとして登場

要約：

– 転移学習の時代が到来し、コンピュータビジョンと自然言語処理フィールドでパワフルな事前学習モデルをもたらし、多様なタスクにおいて卓越した性能をもたらした。
– 自然言語処理タスクは、トランスフォーマーベースの言語モデルによって支配されている。自然言語推論および自然言語生成タスクにおいて、BERTモデルとその派生物、GPTモデルとその派生物が優れたパフォーマンスを示した。
– しかしながら、これらのモデルの大多数は、英語の言語であるか、または多言語コーパス上で事前学習および評価されている。
– 本論文では、大規模なギリシャ語コーパスで事前学習された、BART-baseアーキテクチャベースの最初のSeq2SeqモデルであるGreekBARTを紹介する。
– 記事では、識別タスクの多様な領域（言語タスク、感情分類、質問応答）、自然言語生成タスク（シンプルなサマリー生成と抽象的なサマリー生成）におけるGreekBARTモデルを検証し、他のモデル（BART-random、Greek-BERT、およびXLM-R）と比較。
– 新しく導入されたGreekSUM要約データセットの2つのNLGタスクにおいて、性能を比較。
– このモデル、コード、および新しいサマリーデータセットは公開される予定である。

要約(オリジナル)

The era of transfer learning has revolutionized the fields of Computer Vision and Natural Language Processing, bringing powerful pretrained models with exceptional performance across a variety of tasks. Specifically, Natural Language Processing tasks have been dominated by transformer-based language models. In Natural Language Inference and Natural Language Generation tasks, the BERT model and its variants, as well as the GPT model and its successors, demonstrated exemplary performance. However, the majority of these models are pretrained and assessed primarily for the English language or on a multilingual corpus. In this paper, we introduce GreekBART, the first Seq2Seq model based on BART-base architecture and pretrained on a large-scale Greek corpus. We evaluate and compare GreekBART against BART-random, Greek-BERT, and XLM-R on a variety of discriminative tasks. In addition, we examine its performance on two NLG tasks from GreekSUM, a newly introduced summarization dataset for the Greek language. The model, the code, and the new summarization dataset will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI