Advancing Complex Medical Communication in Arabic with Sporo AraSum: Surpassing Existing Large Language Models

要約

医療における多言語機能への需要の高まりは、特に臨床文書作成や意思決定において、多様な言語の処理に熟達した AI モデルの必要性を浮き彫りにしています。
アラビア語は、その複雑な形態、構文、および異語法により、医療分野における自然言語処理 (NLP) に独特の課題をもたらします。
このケーススタディでは、アラビア語の臨床文書用に調整された言語モデルである Sporo AraSum を、主要なアラビア語 NLP モデルである JAIS と比較して評価します。
合成データセットと修正された PDQI-9 メトリクスを使用して、別の言語でモデルのパフォーマンスを評価する目的で自身を修正しました。
この研究では、精度、包括性、臨床的有用性、および言語文化的能力に焦点を当てて、患者と医師のやりとりを要約するモデルのパフォーマンスを評価しました。
結果は、Sporo AraSum が AI 中心の定量的指標と、PDQI-9 の修正版で測定されたすべての定性的属性において JAIS を大幅に上回っていることを示しています。
AraSum のアーキテクチャは、AI 幻覚のリスクを軽減しながら、アラビア語の言語的ニュアンスに対処する、正確かつ文化的に配慮した文書化を可能にします。
これらの調査結果は、Sporo AraSum がアラビア語を話す医療環境の需要を満たすのに適しており、多言語臨床ワークフローに革新的なソリューションを提供することを示唆しています。
将来の研究では、これらの発見をさらに検証し、医療システムへのより広範な統合を検討するために、実世界のデータを組み込む必要があります。

要約(オリジナル)

The increasing demand for multilingual capabilities in healthcare underscores the need for AI models adept at processing diverse languages, particularly in clinical documentation and decision-making. Arabic, with its complex morphology, syntax, and diglossia, poses unique challenges for natural language processing (NLP) in medical contexts. This case study evaluates Sporo AraSum, a language model tailored for Arabic clinical documentation, against JAIS, the leading Arabic NLP model. Using synthetic datasets and modified PDQI-9 metrics modified ourselves for the purposes of assessing model performances in a different language. The study assessed the models’ performance in summarizing patient-physician interactions, focusing on accuracy, comprehensiveness, clinical utility, and linguistic-cultural competence. Results indicate that Sporo AraSum significantly outperforms JAIS in AI-centric quantitative metrics and all qualitative attributes measured in our modified version of the PDQI-9. AraSum’s architecture enables precise and culturally sensitive documentation, addressing the linguistic nuances of Arabic while mitigating risks of AI hallucinations. These findings suggest that Sporo AraSum is better suited to meet the demands of Arabic-speaking healthcare environments, offering a transformative solution for multilingual clinical workflows. Future research should incorporate real-world data to further validate these findings and explore broader integration into healthcare systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google