GMAI-VL-R1: Harnessing Reinforcement Learning for Multimodal Medical Reasoning

要約

一般的な医療AIの最近の進歩は大きな進歩を遂げていますが、既存のモデルには、複雑な医療意思決定に必要な推論能力がしばしば欠けています。
この論文では、推論能力を向上させるために強化学習（RL）によって強化されたマルチモーダル医療推論モデルであるGMAI-VL-R1を紹介します。
反復トレーニングを通じて、GMAI-VL-R1は意思決定を最適化し、診断の精度と臨床サポートを大幅に向上させます。
また、推論データ統合法を開発し、拒絶サンプリングを介して段階的な推論データを生成し、モデルの一般化をさらに強化します。
実験結果は、RLトレーニング後、GMAI-VL-R1が医療画像診断や視覚的な質問応答などのタスクに優れていることを示しています。
モデルは、監視された微調整による基本的な暗記を示していますが、RLは真の一般化に不可欠です。
私たちの仕事は、新しい評価ベンチマークを確立し、医療推論モデルの将来の進歩への道を開きます。
コード、データ、およびモデルは、\ href {https://github.com/uni-medical/gmai-vl-r1} {このリンク}でリリースされます。

要約(オリジナル)

Recent advances in general medical AI have made significant strides, but existing models often lack the reasoning capabilities needed for complex medical decision-making. This paper presents GMAI-VL-R1, a multimodal medical reasoning model enhanced by reinforcement learning (RL) to improve its reasoning abilities. Through iterative training, GMAI-VL-R1 optimizes decision-making, significantly boosting diagnostic accuracy and clinical support. We also develop a reasoning data synthesis method, generating step-by-step reasoning data via rejection sampling, which further enhances the model’s generalization. Experimental results show that after RL training, GMAI-VL-R1 excels in tasks such as medical image diagnosis and visual question answering. While the model demonstrates basic memorization with supervised fine-tuning, RL is crucial for true generalization. Our work establishes new evaluation benchmarks and paves the way for future advancements in medical reasoning models. Code, data, and model will be released at \href{https://github.com/uni-medical/GMAI-VL-R1}{this link}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google