RareBench: Can LLMs Serve as Rare Diseases Specialists?

要約

GPT-4 などのジェネラリスト大規模言語モデル (LLM) は、医療診断を含むさまざまな分野で大きな期待を集めています。
世界中で約 3 億人が罹患している希少疾患は、主に経験豊富な医師の不足と多くの希少疾患の鑑別の複雑さが原因で、臨床診断率が満足のいくものではないことがよくあります。
これに関連して、「17人の医師が失敗した後、ChatGPTが4歳児の希少疾患を正しく診断した」などの最近のニュースは、希少疾患の臨床診断におけるLLMの潜在的ながらまだ十分に解明されていない役割を強調している。
この研究ギャップを埋めるために、希少疾患の領域内の 4 つの重要な側面で LLM の機能を体系的に評価するように設計された先駆的なベンチマークである RareBench を紹介します。
一方、私たちは希少疾患患者に関する最大のオープンソース データセットを編集し、この分野における将来の研究のベンチマークを確立しました。
希少疾患の鑑別診断を容易にするために、複数の知識ベースから合成された包括的な希少疾患知識グラフを活用した動的な少数ショット プロンプト手法を開発し、LLM の診断パフォーマンスを大幅に向上させます。
さらに、GPT-4 の診断能力と専門医の診断能力との徹底的な比較研究を紹介します。
私たちの実験結果は、LLM を希少疾患の臨床診断プロセスに組み込むことの有望な可能性を強調しています。
これにより、この分野の将来の進歩における刺激的な可能性への道が開かれます。

要約(オリジナル)

Generalist Large Language Models (LLMs), such as GPT-4, have shown considerable promise in various domains, including medical diagnosis. Rare diseases, affecting approximately 300 million people worldwide, often have unsatisfactory clinical diagnosis rates primarily due to a lack of experienced physicians and the complexity of differentiating among many rare diseases. In this context, recent news such as ‘ChatGPT correctly diagnosed a 4-year-old’s rare disease after 17 doctors failed’ underscore LLMs’ potential, yet underexplored, role in clinically diagnosing rare diseases. To bridge this research gap, we introduce RareBench, a pioneering benchmark designed to systematically evaluate the capabilities of LLMs on 4 critical dimensions within the realm of rare diseases. Meanwhile, we have compiled the largest open-source dataset on rare disease patients, establishing a benchmark for future studies in this domain. To facilitate differential diagnosis of rare diseases, we develop a dynamic few-shot prompt methodology, leveraging a comprehensive rare disease knowledge graph synthesized from multiple knowledge bases, significantly enhancing LLMs’ diagnostic performance. Moreover, we present an exhaustive comparative study of GPT-4’s diagnostic capabilities against those of specialist physicians. Our experimental findings underscore the promising potential of integrating LLMs into the clinical diagnostic process for rare diseases. This paves the way for exciting possibilities in future advancements in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google