Ophtha-LLaMA2: A Large Language Model for Ophthalmology

要約

近年、事前トレーニングされた大規模言語モデル (LLM) は、自然言語処理 (NLP) の分野で大きな成功を収めています。
これまでの研究は主に一般領域と汎用領域に焦点を当てており、医療分野における特殊な LLM に関する研究は比較的少ないです。
医療分野における診断の専門化と高精度の要件、および大規模データ収集の課題により、医療シナリオでの LLM の適用と開発が制約されてきました。
眼科の分野では、臨床診断は主に医師によるレポートの解釈と診断上の決定に依存します。
LLM を活用して医師の意思決定支援を提供するために、3 つのモダリティの眼科レポート データを収集し、LLaMA2 モデルを微調整し、特に眼科疾患の診断に特化した「Ophtha-LLaMA2」と呼ばれる LLM を構築することに成功しました。
推論テストの結果は、微調整データセットが小さくても、Ophtha-LLaMA2 は他の LLM と比較して眼科診断において大幅に優れたパフォーマンスを発揮することを示しています。
これは、Ophtha-LLaMA2 が眼科疾患の診断において満足のいく精度と効率を示し、眼科医が患者に改善された診断サポートを提供するための貴重なツールとなることを示しています。
この研究は、眼科分野における LLM の応用に有用な参考資料を提供するとともに、この分野における計り知れない可能性と展望を示しています。

要約(オリジナル)

In recent years, pre-trained large language models (LLMs) have achieved tremendous success in the field of Natural Language Processing (NLP). Prior studies have primarily focused on general and generic domains, with relatively less research on specialized LLMs in the medical field. The specialization and high accuracy requirements for diagnosis in the medical field, as well as the challenges in collecting large-scale data, have constrained the application and development of LLMs in medical scenarios. In the field of ophthalmology, clinical diagnosis mainly relies on doctors’ interpretation of reports and making diagnostic decisions. In order to take advantage of LLMs to provide decision support for doctors, we collected three modalities of ophthalmic report data and fine-tuned the LLaMA2 model, successfully constructing an LLM termed the ‘Ophtha-LLaMA2’ specifically tailored for ophthalmic disease diagnosis. Inference test results show that even with a smaller fine-tuning dataset, Ophtha-LLaMA2 performs significantly better in ophthalmic diagnosis compared to other LLMs. It demonstrates that the Ophtha-LLaMA2 exhibits satisfying accuracy and efficiency in ophthalmic disease diagnosis, making it a valuable tool for ophthalmologists to provide improved diagnostic support for patients. This research provides a useful reference for the application of LLMs in the field of ophthalmology, while showcasing the immense potential and prospects in this domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google