Apollo: Lightweight Multilingual Medical LLMs towards Democratizing Medical AI to 6B People

要約

世界的な医療知識の膨大なリポジトリは主に英語ですが、特に医療リソースが限られている地域では、カスタマイズされた医療サービスを提供するには現地の言語が不可欠です。
医療 AI の進歩の範囲をより広範な人々に広げるために、私たちは 61 億人の世界人口をカバーする、最も広く話されている 6 つの言語にわたる医療 LLM を開発することを目指しています。
この取り組みは、ApolloCorpora 多言語医療データセットと XMedBench ベンチマークの作成で最高潮に達します。
多言語医療ベンチマークでは、リリースされた Apollo モデルは、さまざまな比較的小さいサイズ (つまり、0.5B、1.8B、2B、6B、および 7B) で、同等のサイズのモデルの中で最高のパフォーマンスを達成しています。
特に、アポロ 7B は 70B までの最先端の多言語医療 LLM です。
さらに、これらの軽量モデルを使用すると、プロキシチューニング方式で微調整することなく、大規模モデルの多言語医療機能を向上させることができます。
トレーニング コーパス、コード、モデルの重み、評価ベンチマークをオープンソース化します。

要約(オリジナル)

Despite the vast repository of global medical knowledge predominantly being in English, local languages are crucial for delivering tailored healthcare services, particularly in areas with limited medical resources. To extend the reach of medical AI advancements to a broader population, we aim to develop medical LLMs across the six most widely spoken languages, encompassing a global population of 6.1 billion. This effort culminates in the creation of the ApolloCorpora multilingual medical dataset and the XMedBench benchmark. In the multilingual medical benchmark, the released Apollo models, at various relatively-small sizes (i.e., 0.5B, 1.8B, 2B, 6B, and 7B), achieve the best performance among models of equivalent size. Especially, Apollo-7B is the state-of-the-art multilingual medical LLMs up to 70B. Additionally, these lite models could be used to improve the multi-lingual medical capabilities of larger models without fine-tuning in a proxy-tuning fashion. We will open-source training corpora, code, model weights and evaluation benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google