A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment

要約

GPT-4などの大規模な言語モデルの高い計算コストと遅延により、臨床環境での展開が制限されています。
小言語モデル（SLMS）は費用対効果の高い代替品を提供しますが、容量が限られているには生物医学的ドメインの適応が必要であり、依然として困難です。
追加のボトルネックは、臨床データの利用不能と高い感度です。
これらの課題に対処するために、SLMを高性能な臨床モデルに適応させるための新しいフレームワークを提案します。
私たちの新しいフレームワークで開発された3.8BパラメーターSLMのMediphiコレクションを紹介します。関連する医療および臨床コーパス（PMC、医療ガイドライン、Medwikiなど）、モデルのマージ、および臨床タスクの調整に関する専門家のインストラクション前調整です。
ほとんどの臨床タスクをカバーするために、手がかりのベンチマークを手がかり+に拡張し、そのサイズを2倍にしました。
当社のエキスパートモデルは、タスク固有の微調整なしでベースモデル上のこのベンチマークの相対的な改善を提供します：医療機関で64.3％、放射線レポートで49.5％、ICD-10コーディングで44％（GPT-4-0125を14％上回る）。
モデルの合併を介して専門家モデルをMediphiに統一し、ベンチマーク全体で利益を維持します。
さらに、Mediflowコレクション、14の医療NLPタスクに関する250万の高品質の命令の合成データセット、98の微調整されたドキュメントタイプ、およびJSON形式のサポートを構築しました。
監視された微調整と直接選好の最適化を使用したMediphiのアライメントは、平均で18.9％のさらなる利益を達成します。

要約(オリジナル)

High computation costs and latency of large language models such as GPT-4 have limited their deployment in clinical settings. Small language models (SLMs) offer a cost-effective alternative, but their limited capacity requires biomedical domain adaptation, which remains challenging. An additional bottleneck is the unavailability and high sensitivity of clinical data. To address these challenges, we propose a novel framework for adapting SLMs into high-performing clinical models. We introduce the MediPhi collection of 3.8B-parameter SLMs developed with our novel framework: pre-instruction tuning of experts on relevant medical and clinical corpora (PMC, Medical Guideline, MedWiki, etc.), model merging, and clinical-tasks alignment. To cover most clinical tasks, we extended the CLUE benchmark to CLUE+, doubling its size. Our expert models deliver relative improvements on this benchmark over the base model without any task-specific fine-tuning: 64.3% on medical entities, 49.5% on radiology reports, and 44% on ICD-10 coding (outperforming GPT-4-0125 by 14%). We unify the expert models into MediPhi via model merging, preserving gains across benchmarks. Furthermore, we built the MediFlow collection, a synthetic dataset of 2.5 million high-quality instructions on 14 medical NLP tasks, 98 fine-grained document types, and JSON format support. Alignment of MediPhi using supervised fine-tuning and direct preference optimization achieves further gains of 18.9% on average.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google