Eir: Thai Medical Large Language Models

要約

私たちは、80 億のパラメータを備えた大規模な言語モデルである Eir-8B を紹介します。これは、タイ語での医療タスクの処理の精度を高めるために特別に設計されています。
このモデルは、医療従事者と患者の両方に明確でわかりやすい答えを提供することに焦点を当てており、それによって診断と治療のプロセスの効率が向上します。
モデルがケア基準を遵守し、偏りのない回答を提供することを確認するために人間による評価が実施されました。
データ セキュリティを優先するため、モデルは病院の内部ネットワーク内に展開され、高いセキュリティとより高速な処理速度の両方が保証されます。
内部 API 接続は暗号化と厳格な認証手段で保護されており、データ漏洩や不正アクセスを防ぎます。
私たちは、MedQA、MedMCQA、PubMedQA、および MMLU の医療サブセットの 4 つの医療ベンチマークで、80 億のパラメーターを備えたいくつかのオープンソースの大規模言語モデルを評価しました。
Eir-8B の開発には、最も優れたパフォーマンスのベースラインが使用されました。
私たちの評価では、ゼロショット、少数ショット、思考連鎖推論、アンサンブル/自己整合性投票方法など、複数の質問戦略を採用しました。
私たちのモデルは、市販されているタイ語の大規模言語モデルよりも 10% 以上優れたパフォーマンスを発揮しました。
さらに、18 の臨床タスクにわたってタイでの臨床使用に合わせた強化されたモデル テストを開発しました。このテストでは、当社のモデルが GPT-4o のパフォーマンスを 11% 以上上回りました。

要約(オリジナル)

We present Eir-8B, a large language model with 8 billion parameters, specifically designed to enhance the accuracy of handling medical tasks in the Thai language. This model focuses on providing clear and easy-to-understand answers for both healthcare professionals and patients, thereby improving the efficiency of diagnosis and treatment processes. Human evaluation was conducted to ensure that the model adheres to care standards and provides unbiased answers. To prioritize data security, the model is deployed within the hospital’s internal network, ensuring both high security and faster processing speeds. The internal API connection is secured with encryption and strict authentication measures to prevent data leaks and unauthorized access. We evaluated several open-source large language models with 8 billion parameters on four medical benchmarks: MedQA, MedMCQA, PubMedQA, and the medical subset of MMLU. The best-performing baselines were used to develop Eir-8B. Our evaluation employed multiple questioning strategies, including zero-shot, few-shot, chain-of-thought reasoning, and ensemble/self-consistency voting methods. Our model outperformed commercially available Thai-language large language models by more than 10%. In addition, we developed enhanced model testing tailored for clinical use in Thai across 18 clinical tasks, where our model exceeded GPT-4o performance by more than 11%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google