PEFT-MedAware: Large Language Model for Medical Awareness

要約

チャット モデルは幅広い質問に答えることができますが、その応答の正確さは非常に不確実です。
この研究では、パラメータ効率の良い微調整 (PEFT) を利用して、16,407 の医療 QA ペアで構成される特殊な MedQuAD データ上の Falcon-1b 大規模言語モデルを強化する、特殊な PEFT-MedAware モデルを提案します。
計算効率を高めるためのトレーニング可能なパラメータ。
この論文では、データの前処理と PEFT を採用してモデルのパフォーマンスを最適化し、効率的なトランスフォーマー トレーニングのための BitsAndBytesConfig によって補完されています。
結果として得られたモデルは、限られた計算リソースを利用して、特定の領域での医療質問応答タスクで他の LLM を上回る精度で優れたパフォーマンスを発揮することができ、リソースに制約のある環境での導入に適しています。
私たちは、拡張されたデータセット、より大規模なモデル、および持続的な医療関連性のためのフィードバック メカニズムを通じてさらなる改善を提案します。
私たちの研究は、医療 AI における PEFT の効率向上と特殊な機能を強調しており、大規模なリソースを必要とせずに精度で標準モデルを上回っています。
提案されたモデルとデータは研究目的でのみ公開されます。

要約(オリジナル)

Chat models are capable of answering a wide range of questions, however, the accuracy of their responses is highly uncertain. In this research, we propose a specialized PEFT-MedAware model where we utilize parameter-efficient fine-tuning (PEFT) to enhance the Falcon-1b large language model on specialized MedQuAD data consisting of 16,407 medical QA pairs, leveraging only 0.44% of its trainable parameters to enhance computational efficiency. The paper adopts data preprocessing and PEFT to optimize model performance, complemented by a BitsAndBytesConfig for efficient transformer training. The resulting model was capable of outperforming other LLMs in medical question-answering tasks in specific domains with greater accuracy utilizing limited computational resources making it suitable for deployment in resource-constrained environments. We propose further improvements through expanded datasets, larger models, and feedback mechanisms for sustained medical relevancy. Our work highlights the efficiency gains and specialized capabilities of PEFT in medical AI, outpacing standard models in precision without extensive resource demands. The proposed model and data are released for research purposes only.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google