The Rise of Small Language Models in Healthcare: A Comprehensive Survey

要約

大規模な言語モデル（LLM）によって推進されるヘルスケアアプリケーションの大幅な進展にもかかわらず、データプライバシーに関する懸念の高まり、および限られたリソース。
小言語モデル（SLM）は、次世代のヘルスケア情報学のためのリソース制約の環境で効率的なパフォーマンスのためのスケーラブルで臨床的に実行可能なソリューションを提供します。
当社の包括的な調査では、医療専門家と情報提供者のためにそれらを特定して分類するための分類学的枠組みを提示します。
ヘルスケアSLMの貢献のタイムラインは、NLPタスク、利害関係者の役割、および継続的なケアの3つの次元にわたってモデルを分析するための基礎的な枠組みを確立します。
ゼロからモデルを構築するための建築基盤を特定するための分類枠組みを提示します。
プロンプト、指導の微調整、および推論を通じて、SLMを臨床的精度に適応させます。
圧縮技術によるアクセシビリティと持続可能性。
私たちの主な目的は、医療専門家に包括的な調査を提供し、モデルの最適化に最近の革新を導入し、その分野での将来の研究開発をサポートするためにキュレーションされたリソースを装備することです。
ヘルスケアのSLMSの画期的な進歩を紹介することを目指して、ヘルスケアで広く研究されているNLPタスクにわたって実験結果を包括的に編集して、ヘルスケアにおけるSLMの変革の可能性を強調します。
更新されたリポジトリはGitHubで入手できます

要約(オリジナル)

Despite substantial progress in healthcare applications driven by large language models (LLMs), growing concerns around data privacy, and limited resources; the small language models (SLMs) offer a scalable and clinically viable solution for efficient performance in resource-constrained environments for next-generation healthcare informatics. Our comprehensive survey presents a taxonomic framework to identify and categorize them for healthcare professionals and informaticians. The timeline of healthcare SLM contributions establishes a foundational framework for analyzing models across three dimensions: NLP tasks, stakeholder roles, and the continuum of care. We present a taxonomic framework to identify the architectural foundations for building models from scratch; adapting SLMs to clinical precision through prompting, instruction fine-tuning, and reasoning; and accessibility and sustainability through compression techniques. Our primary objective is to offer a comprehensive survey for healthcare professionals, introducing recent innovations in model optimization and equipping them with curated resources to support future research and development in the field. Aiming to showcase the groundbreaking advancements in SLMs for healthcare, we present a comprehensive compilation of experimental results across widely studied NLP tasks in healthcare to highlight the transformative potential of SLMs in healthcare. The updated repository is available at Github

arxiv情報

提供元, 利用サービス

arxiv.jp, Google