MedS$^3$: Towards Medical Small Language Models with Self-Evolved Slow Thinking

要約

医療言語モデル (MLM) は、医療自然言語処理の進歩において極めて重要になっています。
ただし、事前トレーニングまたは教師付き微調整に依存する従来のモデルは、多くの場合、データ効率が低く、実際の臨床アプリケーションでは実用性が限られています。
OpenAIs O1 は数学におけるテスト時間のスケーリングを強調していますが、このアプローチを医学で再現しようとすると、通常、応答を GPT シリーズ モデルからオープンソース モデルに抽出し、主に複数選択タスクに焦点を当てます。
この戦略は単純ではありますが、データのプライバシーや臨床現場での現実的な展開などの重要な懸念事項を無視しています。
この研究では、自己進化パラダイムを使用した臨床タスクにおける長鎖推論用に設計された、展開可能な小規模医療言語モデル \mone を紹介します。
5 つのドメインと 16 のデータセットにわたる約 8,000 のインスタンスのシード データセットから始めて、基本ポリシー モデルにモンテカルロ ツリー検索 (MCTS) を実行させ、検証可能な推論チェーンを構築します。
各推論ステップには進化ロールアウト値が割り当てられ、検証された軌跡でポリシー モデルと報酬モデルをトレーニングできるようになります。
推論中に、ポリシー モデルは複数の応答を生成し、報酬モデルは最も高い報酬スコアを持つ応答を選択します。
11 の評価データセットの実験では、\mone が以前のオープンソース モデルよりも 2 ポイント優れたパフォーマンスを示し、報酬モデルの追加によりパフォーマンスがさらに向上し ($\sim$13 ポイント)、GPT-4o-mini を上回りました。
コードとデータは \url{https://github.com/pixas/MedSSS} で入手できます。

要約(オリジナル)

Medical language models (MLMs) have become pivotal in advancing medical natural language processing. However, prior models that rely on pre-training or supervised fine-tuning often exhibit low data efficiency and limited practicality in real-world clinical applications. While OpenAIs O1 highlights test-time scaling in mathematics, attempts to replicate this approach in medicine typically distill responses from GPT-series models to open-source models, focusing primarily on multiple-choice tasks. This strategy, though straightforward, neglects critical concerns like data privacy and realistic deployment in clinical settings. In this work, we present a deployable, small-scale medical language model, \mone, designed for long-chain reasoning in clinical tasks using a self-evolution paradigm. Starting with a seed dataset of around 8,000 instances spanning five domains and 16 datasets, we prompt a base policy model to perform Monte Carlo Tree Search (MCTS) to construct verifiable reasoning chains. Each reasoning step is assigned an evolution rollout value, allowing verified trajectories to train the policy model and the reward model. During inference, the policy model generates multiple responses, and the reward model selects the one with the highest reward score. Experiments on eleven evaluation datasets demonstrate that \mone outperforms prior open-source models by 2 points, with the addition of the reward model further boosting performance ($\sim$13 points), surpassing GPT-4o-mini. Code and data are available at \url{https://github.com/pixas/MedSSS}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google