Improving Small Language Models on PubMedQA via Generative Data Augmentation

要約

大規模言語モデル (LLM) は、自然言語処理の分野で目覚ましい進歩を遂げました。
ただし、サイズが増大すると、計算コストの面で課題が生じます。
一方、小規模言語モデル (SLM) は効率が良いことで知られていますが、特に特定のドメインでは、限られた容量とトレーニング データに苦戦することがよくあります。
この論文では、LLM ベースの生成データ拡張を使用して医療分野の SLM を改善することを目的とした新しい方法を紹介します。
私たちのアプローチの目的は、特殊なアプリケーション向けに特別に調整された、より効率的で有能なモデルを開発することです。
PubMedQA データセットで行われた実験を通じて、既存の質問と回答のペアを改良し、多様化する際の LLM の有効性を実証します。
この改良プロセスにより、微調整後の大幅に小さいモデルのパフォーマンスが向上します。
特に、16 億未満のパラメーターを備えた当社の最高の SLM は、PubMedQA データセット上の数ショットの GPT-4 を上回っています。
私たちのコードと生成されたデータは、さらなる探索を容易にするために公開されています。

要約(オリジナル)

Large Language Models (LLMs) have made remarkable advancements in the field of natural language processing. However, their increasing size poses challenges in terms of computational cost. On the other hand, Small Language Models (SLMs) are known for their efficiency, but they often struggle with limited capacity and training data, especially in specific domains. In this paper, we introduce a novel method aimed at improving SLMs in the medical domain using LLM-based generative data augmentation. The objective of our approach is to develop more efficient and capable models that are specifically tailored for specialized applications. Through experiments conducted on the PubMedQA dataset, we demonstrate the effectiveness of LLMs in refining and diversifying existing question-answer pairs. This refinement process leads to improved performance in a significantly smaller model after fine-tuning. Notably, our best SLM, with under 1.6 billion parameters, outperforms the few-shot GPT-4 on the PubMedQA dataset. Our code and generated data are publicly available to facilitate further explorations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google