BERTino: an Italian DistilBERT model

要約

【タイトル】BERTino: イタリア語のDistilBERTモデル
【要約】
– Transformer言語表現モデルの導入により、多くの自然言語処理（NLP）タスクの改善が可能になった。
– しかし、これらのアーキテクチャが実現する性能は驚くべきものの、ネットワークを構成するパラメータ数が多すぎるため、計算やメモリの要求が高いという利便性の制限がある。
– 本研究では、イタリア語用のBERTアーキテクチャの軽量な代替案であるBERTinoを提案している。
– BERTinoは、イタリア語ISDT、イタリア語ParTUT、イタリア語WikiNER、およびマルチクラス分類課題で評価され、BERTBASEと同等のF1スコアを達成しつつ、訓練と推論の速度が著しく改善された。

要約(オリジナル)

The recent introduction of Transformers language representation models allowed great improvements in many natural language processing (NLP) tasks. However, if on one hand the performances achieved by this kind of architectures are surprising, on the other their usability is limited by the high number of parameters which constitute their network, resulting in high computational and memory demands. In this work we present BERTino, a DistilBERT model which proposes to be the first lightweight alternative to the BERT architecture specific for the Italian language. We evaluated BERTino on the Italian ISDT, Italian ParTUT, Italian WikiNER and multiclass classification tasks, obtaining F1 scores comparable to those obtained by a BERTBASE with a remarkable improvement in training and inference speed.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI