要約
大規模言語モデル (LLM) は、ヘルスケア アプリケーションの幅広いタスクにわたってその有効性を実証しています。
ただし、多くの場合、最適なパフォーマンスを達成するには、タスク固有の専門家の注釈が付けられたデータに基づいて LLM を微調整する必要があり、これには費用と時間がかかる可能性があります。
この研究では、臨床試験でケアプランを指定するイベントスケジュール（SoE）テーブルの検出のためにgemini-pro 1.0から取得したノイズラベルを使用して、パラメータ効率的微調整（PEFT）でPaLM-2を微調整します。
プロトコル。
このテーブル分類タスクに対して信頼性の高いラベルを選択するためのフィルタリング メカニズムを導入し、それによって自動生成されたラベルのノイズを削減します。
これらのラベルを使用して微調整された PaLM-2 が、gemini-pro 1.0 や他の LLM を超えるパフォーマンスを達成することを示します。
さらに、そのパフォーマンスは、専門家以外のアノテーターから取得したラベルに基づいて微調整された PaLM-2 に近いものです。
私たちの結果は、gemini-pro のような強力なモデルを通じて LLM で生成されたラベルを活用することが、特に専門家のアノテーションが不足、高価、または時間がかかる領域において、特殊なタスクの微調整を通じて LLM のパフォーマンスを向上させるための実行可能な戦略として機能する可能性があることを示しています。
入手する。
要約(オリジナル)
Large Language Models (LLMs) have demonstrated their efficacy across a broad spectrum of tasks in healthcare applications. However, often LLMs need to be fine-tuned on task-specific expert annotated data to achieve optimal performance, which can be expensive and time consuming. In this study, we fine-tune PaLM-2 with parameter efficient fine-tuning (PEFT) using noisy labels obtained from gemini-pro 1.0 for the detection of Schedule-of-Event (SoE) tables, which specify care plan in clinical trial protocols. We introduce a filtering mechanism to select high-confidence labels for this table classification task, thereby reducing the noise in the auto-generated labels. We show that fine-tuned PaLM-2 with those labels achieves performance that exceeds the gemini-pro 1.0 and other LLMs. Furthermore, its performance is close to a PaLM-2 fine-tuned on labels obtained from non-expert annotators. Our results show that leveraging LLM-generated labels through powerful models like gemini-pro can potentially serve as a viable strategy for improving LLM performance through fine-tuning in specialized tasks, particularly in domains where expert annotations are scarce, expensive, or time-consuming to obtain.
arxiv情報
| 著者 | Bhawesh Kumar,Jonathan Amar,Eric Yang,Nan Li,Yugang Jia |
| 発行日 | 2024-08-05 15:51:50+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google