Vision-Language and Large Language Model Performance in Gastroenterology: GPT, Claude, Llama, Phi, Mistral, Gemma, and Quantized Models

要約

背景と目的: この研究では、消化器病学における大規模言語モデル (LLM) と視覚言語モデル (VLM) の医学的推論パフォーマンスを評価します。
方法: 300 問の消化器病専門医試験形式の多肢選択問題を使用しました。そのうち 138 問には、モデルの構成とパラメーターの影響を体系的に評価し、GPT-3.5 を利用したエンジニアリング戦略を促進するための画像が含まれています。
次に、GPT (3.5、4、4o、4omini)、Claude (3、3.5)、Gemini (1.0)、Mistral、Llama (2、3、3.1) を含む独自のオープンソース LLM (バージョン) のパフォーマンスを評価しました。
)、Mixtral、および Phi (3)、さまざまなインターフェイス (Web と API)、コンピューティング環境 (クラウドとローカル)、およびモデルの精度 (量子化の有無) にまたがります。
最後に、半自動パイプラインを使用して精度を評価しました。
結果: 独自モデルの中で、GPT-4o (73.7%) と Claude3.5-Sonnet (74.0%) が最高の精度を達成し、上位のオープンソース モデルである Llama3.1-405b (64%)、Llama3.1 を上回りました。
-70b (58.3%)、Mixtral-8x7b (54.3%)。
量子化されたオープンソース モデルの中で、6 ビット量子化 Phi3-14b (48.7%) が最も優れたパフォーマンスを示しました。
量子化モデルのスコアは、完全精度モデル Llama2-7b、Llama2–13b、および Gemma2-9b のスコアと同等でした。
特に、画像を含む質問に対する VLM のパフォーマンスは、画像が提供された場合には改善されず、LLM で生成されたキャプションが提供された場合には悪化しました。
対照的に、画像に人間が作成した画像説明を伴うと、精度が 10% 増加することが観察されました。
結論: 結論として、LLM は医療推論において堅牢なゼロショット パフォーマンスを示しますが、視覚データの統合は VLM にとって依然として課題です。
効果的な導入には、最適なモデル構成を慎重に決定し、独自モデルの高いパフォーマンスか、オープンソース モデルの柔軟な適応性のどちらかを検討するようユーザーに促す必要があります。

要約(オリジナル)

Background and Aims: This study evaluates the medical reasoning performance of large language models (LLMs) and vision language models (VLMs) in gastroenterology. Methods: We used 300 gastroenterology board exam-style multiple-choice questions, 138 of which contain images to systematically assess the impact of model configurations and parameters and prompt engineering strategies utilizing GPT-3.5. Next, we assessed the performance of proprietary and open-source LLMs (versions), including GPT (3.5, 4, 4o, 4omini), Claude (3, 3.5), Gemini (1.0), Mistral, Llama (2, 3, 3.1), Mixtral, and Phi (3), across different interfaces (web and API), computing environments (cloud and local), and model precisions (with and without quantization). Finally, we assessed accuracy using a semiautomated pipeline. Results: Among the proprietary models, GPT-4o (73.7%) and Claude3.5-Sonnet (74.0%) achieved the highest accuracy, outperforming the top open-source models: Llama3.1-405b (64%), Llama3.1-70b (58.3%), and Mixtral-8x7b (54.3%). Among the quantized open-source models, the 6-bit quantized Phi3-14b (48.7%) performed best. The scores of the quantized models were comparable to those of the full-precision models Llama2-7b, Llama2–13b, and Gemma2-9b. Notably, VLM performance on image-containing questions did not improve when the images were provided and worsened when LLM-generated captions were provided. In contrast, a 10% increase in accuracy was observed when images were accompanied by human-crafted image descriptions. Conclusion: In conclusion, while LLMs exhibit robust zero-shot performance in medical reasoning, the integration of visual data remains a challenge for VLMs. Effective deployment involves carefully determining optimal model configurations, encouraging users to consider either the high performance of proprietary models or the flexible adaptability of open-source models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google