要約
医療ワークフローの基礎モデルとして設計された臨床大規模言語モデル (CLaM) である SoftTiger を紹介します。
臨床ノートの物語的で構造化されていない性質は、医療のインテリジェント化にとって大きな障害となっています。
私たちは、国際的な相互運用性標準に従って、臨床ノートを臨床データに構造化するという重要な問題に取り組みます。
私たちは、国際的な患者の概要、臨床印象、医療現場での遭遇という 3 つのサブタスクのデータを収集し、注釈を付けます。
次に、公開されている認定済みの臨床データを使用して、最先端の LLM を微調整しました。
トレーニングは、ターゲット モデルが最初に略語展開や時間情報抽出などの基本的な臨床タスクをサポートし、その後、より複雑な下流の臨床タスクの実行方法を学習できるように調整されます。
さらに、非常に長いコンテキスト ウィンドウなど、医療コンテキストにおけるいくつかのモデリングの課題にも対処します。
私たちのブラインドペアワイズ評価では、SoftTiger が他の人気のオープンソース モデルや GPT-3.5 よりも優れており、Gemini-pro に匹敵しますが、GPT-4 とはわずかな差があることが示されています。
私たちは、LLM が医療のデジタル化と民主化への足がかりになる可能性があると信じています。
したがって、私たちは 130 億および 700 億パラメータのスケールで SoftTiger モデルを公開し、革新的なスケーラブルな評価のためのデータセットとコードを公開し、ヘルスケア業界に大きく貢献することを期待しています。
要約(オリジナル)
We introduce SoftTiger, a clinical large language model (CLaM) designed as a foundation model for healthcare workflows. The narrative and unstructured nature of clinical notes is a major obstacle for healthcare intelligentization. We address a critical problem of structuring clinical notes into clinical data, according to international interoperability standards. We collect and annotate data for three subtasks, namely, international patient summary, clinical impression and medical encounter. We then supervised fine-tuned a state-of-the-art LLM using public and credentialed clinical data. The training is orchestrated in a way that the target model can first support basic clinical tasks such as abbreviation expansion and temporal information extraction, and then learn to perform more complex downstream clinical tasks. Moreover, we address several modeling challenges in the healthcare context, e.g., extra long context window. Our blind pairwise evaluation shows that SoftTiger outperforms other popular open-source models and GPT-3.5, comparable to Gemini-pro, with a mild gap from GPT-4. We believe that LLMs may become a step-stone towards healthcare digitalization and democratization. Therefore, we publicly release SoftTiger models at scales of 13 billion and 70 billion parameters, as well as datasets and code for our innovative scalable evaluation, hopefully, making a significant contribution to the healthcare industry.
arxiv情報
| 著者 | Ye Chen,Igor Couto,Wei Cai,Cong Fu,Bruno Dorneles |
| 発行日 | 2024-08-20 12:37:02+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google