The Aloe Family Recipe for Open and Specialized Healthcare LLMs

要約

目的：ヘルスケアの大規模な言語モデル（LLMS）の進歩により、競争力のあるオープンソースモデルが公共の利益を保護する必要性が生じます。
この作業は、モデルの安全性（DPOを介して）と有効性（RAGを介して）を改善する方法を示しながら、データの前処理とトレーニングの重要な段階を最適化することにより、オープンメディカルLLMの分野に貢献します。
4つの異なるタイプのテストを含む使用される評価方法は、フィールドの新しい標準を定義します。
結果のモデルは、最高のプライベートな代替品と競争力があることが示されており、許容ライセンスでリリースされます。
方法：Llama 3.1やQwen 2.5などの強力なベースモデルの上に構築されているAloe Betaは、カスタムデータセットを使用して、合成の思考の例でパブリックデータを強化します。
モデルは、直接的な優先順位の最適化と整合し、ジェームブレイク攻撃の存在下で倫理的および政策並列パフォーマンスを強調します。
評価には、結果の信頼性を最大化するために、密接な、自由、安全性、人間の評価が含まれます。
結果：アロエ家の堅実な性能に裏付けられたパイプライン全体で推奨事項が行われます。
これらのモデルは、ヘルスケアベンチマークや医療分野で競争力のあるパフォーマンスを提供し、多くの場合、医療専門家に好まれます。
バイアスと毒性については、アロエベータモデルは安全性を大幅に改善し、目に見えないジェイルブレイク攻撃に対する回復力を示しています。
責任あるリリースのために、ヘルスケアに固有の詳細なリスク評価がアロエファミリーモデルに添付されています。
結論：アロエベータモデル、およびそれらにつながるレシピは、オープンソースの医療LLMフィールドに大きく貢献し、高い倫理要件を維持しながら最高のパフォーマンスを提供します。
この作業は、ヘルスケアで整合したLLMを開発および報告するための新しい基準を設定します。

要約(オリジナル)

Purpose: With advancements in Large Language Models (LLMs) for healthcare, the need arises for competitive open-source models to protect the public interest. This work contributes to the field of open medical LLMs by optimizing key stages of data preprocessing and training, while showing how to improve model safety (through DPO) and efficacy (through RAG). The evaluation methodology used, which includes four different types of tests, defines a new standard for the field. The resultant models, shown to be competitive with the best private alternatives, are released with a permisive license. Methods: Building on top of strong base models like Llama 3.1 and Qwen 2.5, Aloe Beta uses a custom dataset to enhance public data with synthetic Chain of Thought examples. The models undergo alignment with Direct Preference Optimization, emphasizing ethical and policy-aligned performance in the presence of jailbreaking attacks. Evaluation includes close-ended, open-ended, safety and human assessments, to maximize the reliability of results. Results: Recommendations are made across the entire pipeline, backed by the solid performance of the Aloe Family. These models deliver competitive performance across healthcare benchmarks and medical fields, and are often preferred by healthcare professionals. On bias and toxicity, the Aloe Beta models significantly improve safety, showing resilience to unseen jailbreaking attacks. For a responsible release, a detailed risk assessment specific to healthcare is attached to the Aloe Family models. Conclusion: The Aloe Beta models, and the recipe that leads to them, are a significant contribution to the open-source medical LLM field, offering top-of-the-line performance while maintaining high ethical requirements. This work sets a new standard for developing and reporting aligned LLMs in healthcare.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google