Retrieve, Generate, Evaluate: A Case Study for Medical Paraphrases Generation with Small Language Models

要約

最近、大規模言語モデル (LLM) への一般大衆へのアクセシビリティが急増しているため、医療関連の推奨事項でそのようなモデルが追跡不能に使用される可能性があります。
LLM モデルによる言語生成には 2 つの重要な問題があります。1 つ目は、幻覚を起こしやすいため、いかなる医療目的であっても科学的かつ事実に基づく根拠が必要であることです。
次に、LLM はモデルのサイズが巨大であるため、計算リソースに多大な課題をもたらします。
この研究では、小型言語モデル (SLM) を使用した検索拡張生成と医療言い換え生成の評価のためのパイプラインである pRAGe を紹介します。
私たちは、フランス語での医療言い換え生成に対する SLM の有効性と外部知識ベースの影響を研究しています。

要約(オリジナル)

Recent surge in the accessibility of large language models (LLMs) to the general population can lead to untrackable use of such models for medical-related recommendations. Language generation via LLMs models has two key problems: firstly, they are prone to hallucination and therefore, for any medical purpose they require scientific and factual grounding; secondly, LLMs pose tremendous challenge to computational resources due to their gigantic model size. In this work, we introduce pRAGe, a pipeline for Retrieval Augmented Generation and evaluation of medical paraphrases generation using Small Language Models (SLM). We study the effectiveness of SLMs and the impact of external knowledge base for medical paraphrase generation in French.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google