Hippocrates: An Open-Source Framework for Advancing Large Language Models in Healthcare

要約

大規模言語モデル (LLM) を医療に統合すると、医療診断、研究、患者ケアが変革されることが期待されます。
しかし、医療 LLM の進歩は、複雑なトレーニング要件、厳格な評価要件、学術的探求を制限する独自のモデルの支配などの障害に直面しています。
LLM リソースへの透明性のある包括的なアクセスは、ヘルスケア AI の分野を進歩させ、再現性を高め、イノベーションを促進するために不可欠です。
医療分野向けに特別に開発されたオープンソース LLM フレームワークである Hippocrates を紹介します。
これまでの取り組みとはまったく対照的に、トレーニング データセット、コードベース、チェックポイント、評価プロトコルへの無制限のアクセスが提供されます。
このオープンなアプローチは共同研究を促進するように設計されており、コミュニティが透明なエコシステム内で医療 LLM を構築、改良、厳密に評価できるようになります。
また、継続的な事前トレーニング、命令調整、人間と AI のフィードバックからの強化学習を通じて、Mistral と LLaMA2 から微調整された、医療分野向けに調整された 7B モデルのファミリーである Hippo も紹介します。
当社のモデルは、既存のオープン医療 LLM モデルを大幅に上回り、パラメータが 70B のモデルをも上回ります。
私たちはヒポクラテスを通じて、LLM の可能性を最大限に引き出し、医学知識と患者ケアを進歩させるだけでなく、ヘルスケアにおける AI 研究の利点を民主化し、世界中で利用できるようにしたいと考えています。

要約(オリジナル)

The integration of Large Language Models (LLMs) into healthcare promises to transform medical diagnostics, research, and patient care. Yet, the progression of medical LLMs faces obstacles such as complex training requirements, rigorous evaluation demands, and the dominance of proprietary models that restrict academic exploration. Transparent, comprehensive access to LLM resources is essential for advancing the field, fostering reproducibility, and encouraging innovation in healthcare AI. We present Hippocrates, an open-source LLM framework specifically developed for the medical domain. In stark contrast to previous efforts, it offers unrestricted access to its training datasets, codebase, checkpoints, and evaluation protocols. This open approach is designed to stimulate collaborative research, allowing the community to build upon, refine, and rigorously evaluate medical LLMs within a transparent ecosystem. Also, we introduce Hippo, a family of 7B models tailored for the medical domain, fine-tuned from Mistral and LLaMA2 through continual pre-training, instruction tuning, and reinforcement learning from human and AI feedback. Our models outperform existing open medical LLMs models by a large-margin, even surpassing models with 70B parameters. Through Hippocrates, we aspire to unlock the full potential of LLMs not just to advance medical knowledge and patient care but also to democratize the benefits of AI research in healthcare, making them available across the globe.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google