IT5: Text-to-text Pretraining for Italian Language Understanding and Generation

要約

イタリア語に特化して事前トレーニングされたエンコーダー/デコーダー変換モデルの最初のファミリーである IT5 を紹介します。
私たちは大規模なイタリア語コーパスの徹底的なクリーニング手順を文書化して実行し、それを 4 つの IT5 モデル サイズの事前トレーニングに使用します。
次に、イタリア語の幅広い自然言語理解と生成タスクを含む ItaGen ベンチマークを導入し、それを使用して IT5 モデルと多言語ベースラインのパフォーマンスを評価します。
単言語 IT5 モデルは、テストされたモデル全体で最高のスケール対パフォーマンス比を提供し、多言語対応モデルを常に上回っており、イタリア語生成の新たな最先端を確立していることがわかりました。

要約(オリジナル)

We introduce IT5, the first family of encoder-decoder transformer models pretrained specifically on Italian. We document and perform a thorough cleaning procedure for a large Italian corpus and use it to pretrain four IT5 model sizes. We then introduce the ItaGen benchmark, which includes a broad range of natural language understanding and generation tasks for Italian, and use it to evaluate the performance of IT5 models and multilingual baselines. We find monolingual IT5 models to provide the best scale-to-performance ratio across tested models, consistently outperforming their multilingual counterparts and setting a new state-of-the-art for Italian language generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google