BiMediX: Bilingual Medical Mixture of Experts LLM

要約

この文書では、英語とアラビア語の両方でシームレスに対話できるように設計された専門家 LLM の初のバイリンガル医療混合物である BiMediX を紹介します。
当社のモデルは、患者の症状や病歴などの詳細を問い合わせるマルチターン チャット、多肢選択式の質問応答、自由回答式の質問応答など、英語とアラビア語での幅広い医療対話を促進します。
私たちは、高品質の翻訳を保証するために人間による改良を加えた半自動の英語からアラビア語への翻訳パイプラインを提案します。
また、アラビアの医療 LLM の包括的な評価ベンチマークも紹介します。
さらに、130 万の多様な医療行為をカバーする広範なアラビア語と英語のバイリンガル指導セットである BiMed1.3M を導入し、その結果、指導調整用の 6 億 3,200 万を超える医療に特化したトークンが誕生しました。
当社の BiMed1.3M データセットには、合成された 250,000 のマルチターンの医師と患者のチャットが含まれており、アラビア語と英語の比率が 1:2 を維持しています。
当社のモデルは、英語の複数の医療評価ベンチマークにわたって計算された平均絶対利得がそれぞれ 2.5% と 4.1% で、最先端の Med42 と Meditron を上回り、8 倍高速な推論で動作します。
さらに、当社の BiMediX は、一般的なアラビア語と英語のバイリンガル LLM である Jais-30B を上回っており、アラビア語医療ベンチマークで平均 10%、複数のデータセットにわたるバイリンガル評価で 15% の絶対ゲインを達成しています。
ソース コードとトレーニング済みモデルを含むプロジェクト ページは https://github.com/mbzuai-oryx/BiMediX から入手できます。

要約(オリジナル)

In this paper, we introduce BiMediX, the first bilingual medical mixture of experts LLM designed for seamless interaction in both English and Arabic. Our model facilitates a wide range of medical interactions in English and Arabic, including multi-turn chats to inquire about additional details such as patient symptoms and medical history, multiple-choice question answering, and open-ended question answering. We propose a semi-automated English-to-Arabic translation pipeline with human refinement to ensure high-quality translations. We also introduce a comprehensive evaluation benchmark for Arabic medical LLMs. Furthermore, we introduce BiMed1.3M, an extensive Arabic-English bilingual instruction set covering 1.3 Million diverse medical interactions, resulting in over 632 million healthcare specialized tokens for instruction tuning. Our BiMed1.3M dataset includes 250k synthesized multi-turn doctor-patient chats and maintains a 1:2 Arabic-to-English ratio. Our model outperforms state-of-the-art Med42 and Meditron by average absolute gains of 2.5% and 4.1%, respectively, computed across multiple medical evaluation benchmarks in English, while operating at 8-times faster inference. Moreover, our BiMediX outperforms the generic Arabic-English bilingual LLM, Jais-30B, by average absolute gains of 10% on our Arabic medical benchmark and 15% on bilingual evaluations across multiple datasets. Our project page with source code and trained model is available at https://github.com/mbzuai-oryx/BiMediX .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google