Large Language Models Vote: Prompting for Rare Disease Identification

要約

生成大規模言語モデル (LLM) の出現により、正確かつ効率的なプロンプト アプローチの必要性が強調されています。
LLM は多くの場合、最小限のトレーニング データでタスクが実行されるフューショット学習 (FSL) コンテキストで適用されます。
FSL は、健康のための AI を含む、多くの人工知能 (AI) サブドメインで普及しています。
希少疾患は人口のごく一部に影響を及ぼします。
臨床記録からの希少疾患の特定には、入手可能なデータが限られているため、本質的に FSL 技術が必要です。
手動によるデータ収集と注釈付けは、費用も時間もかかります。
このペーパーでは、FSL 設定における LLM クエリのパフォーマンスを向上させるための柔軟なプロンプト アプローチである Models-Vote Prompting (MVP) を提案します。
MVP は、多数の LLM に同じタスクの実行を促し、その結果の出力に対して多数決を行うことによって機能します。
この方法では、ワンショットの希少疾患の特定および分類タスクにおいて、アンサンブル内の任意の 1 つのモデルに対して改善された結果が得られます。
また、MIMIC-IV データ使用契約 (DUA) に署名した人が利用できる、FSL 用の新しい希少疾患データセットもリリースします。
さらに、MVP を使用すると、各モデルが複数回プロンプトされ、手動によるアノテーションに必要な時間が大幅に増加します。これに対処するために、生成 LLM 評価を自動化するために JSON を使用する実現可能性を評価します。

要約(オリジナル)

The emergence of generative Large Language Models (LLMs) emphasizes the need for accurate and efficient prompting approaches. LLMs are often applied in Few-Shot Learning (FSL) contexts, where tasks are executed with minimal training data. FSL has become popular in many Artificial Intelligence (AI) subdomains, including AI for health. Rare diseases affect a small fraction of the population. Rare disease identification from clinical notes inherently requires FSL techniques due to limited data availability. Manual data collection and annotation is both expensive and time-consuming. In this paper, we propose Models-Vote Prompting (MVP), a flexible prompting approach for improving the performance of LLM queries in FSL settings. MVP works by prompting numerous LLMs to perform the same tasks and then conducting a majority vote on the resulting outputs. This method achieves improved results to any one model in the ensemble on one-shot rare disease identification and classification tasks. We also release a novel rare disease dataset for FSL, available to those who signed the MIMIC-IV Data Use Agreement (DUA). Furthermore, in using MVP, each model is prompted multiple times, substantially increasing the time needed for manual annotation, and to address this, we assess the feasibility of using JSON for automating generative LLM evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google