Igea: a Decoder-Only Language Model for Biomedical Text Generation in Italian

要約

ドメイン固有の言語モデルの開発により、さまざまな専門分野、特に生物医学における自然言語処理アプリケーションが大幅に進歩しました。
ただし、主に英語モデルに重点が置かれており、イタリア語などのリソースの少ない言語にはギャップが残されています。
この論文では、イタリア語の生物医学テキスト生成用に明示的に設計された初のデコーダ専用言語モデルである Igea を紹介します。
Minerva モデルに基づいて構築され、イタリアの医学テキストの多様なコーパスで継続的に事前トレーニングされた Igea は、3 億 5,000 万、10 億、30 億パラメータの 3 つのモデル サイズで利用できます。
このモデルは、イタリア語の医療用語の特殊性を管理するという課題に対処し、計算効率とパフォーマンスのバランスを取ることを目的としています。
私たちは、ドメイン内の生物医学コーパスと汎用ベンチマークを組み合わせて Igea を評価し、その有効性とドメイン固有のトレーニング後でも一般知識が保持されることを強調しています。
この論文では、イタリアの生物医学 NLP の将来の進歩のための基礎を提供するモデルの開発と評価について説明します。

要約(オリジナル)

The development of domain-specific language models has significantly advanced natural language processing applications in various specialized fields, particularly in biomedicine. However, the focus has largely been on English-language models, leaving a gap for less-resourced languages such as Italian. This paper introduces Igea, the first decoder-only language model designed explicitly for biomedical text generation in Italian. Built on the Minerva model and continually pretrained on a diverse corpus of Italian medical texts, Igea is available in three model sizes: 350 million, 1 billion, and 3 billion parameters. The models aim to balance computational efficiency and performance, addressing the challenges of managing the peculiarities of medical terminology in Italian. We evaluate Igea using a mix of in-domain biomedical corpora and general-purpose benchmarks, highlighting its efficacy and retention of general knowledge even after the domain-specific training. This paper discusses the model’s development and evaluation, providing a foundation for future advancements in Italian biomedical NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google