CollectiveSFT: Scaling Large Language Models for Chinese Medical Benchmark with Collective Instructions in Healthcare

要約

大規模言語モデル (LLM) の急速な進歩により、その機能を評価するための多数のベンチマークの作成が促されています。この研究は中国語の総合医療ベンチマーク (CMB) に焦点を当てており、教師あり微調整 (SFT) におけるデータセットの多様性と分布がどのように変化するかを示しています。
LLM のパフォーマンスを向上させる可能性があります。驚くべきことに、小規模なベース モデルをトレーニングして、より大きなモデルと同等のスコアを達成することに成功しました。これは、多様で適切に分散されたデータセットがモデルのサイズに関係なくパフォーマンスを最適化できることを示しています。この研究は、より小さなモデルでも高いパフォーマンスに達する可能性があることを示唆しています。
慎重に厳選された多様なデータセットを含むレベル。
幅広い教育コンテンツを統合することで、当社のアプローチはデータ品質の不一致などの潜在的な問題に対処します。
私たちの結果は、より広範囲のトレーニング データによりモデルの一般化能力が向上し、さまざまな医療シナリオにわたって効果的に実行できる可能性があることを示唆しており、微調整プロセスにおけるデータセットの品質と多様性の重要性が強調されています。
将来の研究のためにモデルを https://github.com/CAS-SIAT-XinHai/CollectiveSFT でオープンソース化します。

要約(オリジナル)

The rapid progress in Large Language Models (LLMs) has prompted the creation of numerous benchmarks to evaluate their capabilities.This study focuses on the Comprehensive Medical Benchmark in Chinese (CMB), showcasing how dataset diversity and distribution in supervised fine-tuning (SFT) may enhance LLM performance.Remarkably, We successfully trained a smaller base model to achieve scores comparable to larger models, indicating that a diverse and well-distributed dataset can optimize performance regardless of model size.This study suggests that even smaller models may reach high performance levels with carefully curated and varied datasets. By integrating a wide range of instructional content, our approach addresses potential issues such as data quality inconsistencies. Our results imply that a broader spectrum of training data may enhance a model’s ability to generalize and perform effectively across different medical scenarios, highlighting the importance of dataset quality and diversity in fine-tuning processes. We open-source the model for future research at https://github.com/CAS-SIAT-XinHai/CollectiveSFT

arxiv情報

提供元, 利用サービス

arxiv.jp, Google