GMAI-MMBench: A Comprehensive Multimodal Evaluation Benchmark Towards General Medical AI

要約

Large Vision-Language Model (LVLM) は、画像、テキスト、生理学的信号などの多様なデータ タイプを処理でき、さまざまな分野に適用できます。
医療分野では、LVLM は診断と治療に実質的な支援を提供できる可能性が高くなります。
その前に、さまざまな医療用途における LVLM の有効性を評価するためのベンチマークを開発することが重要です。
現在のベンチマークは、特定の学術文献に基づいて構築されていることが多く、主に単一の領域に焦点を当てており、さまざまな知覚的な粒度が欠けています。
したがって、臨床的関連性が限られていること、評価が不完全であること、対話型 LVLM に対するガイダンスが不十分であることなど、特定の課題に直面しています。
これらの制限に対処するために、当社はこれまでで適切に分類されたデータ構造と複数の知覚粒度を備えた最も包括的な一般医療 AI ベンチマークである GMAI-MMBench を開発しました。
これは、39 の医用画像モダリティ、18 の臨床関連タスク、18 部門、および Visual Question Answering (VQA) 形式の 4 つの知覚粒度にわたる 285 のデータセットから構築されています。
さらに、ユーザーが評価タスクをカスタマイズできる語彙ツリー構造を実装し、さまざまな評価ニーズに対応し、医療 AI の研究と応用を大幅にサポートしました。
50 個の LVLM を評価した結果、高度な GPT-4o でさえ 52% の精度しか達成できず、改善の余地が大きいことが示されました。
さらに、より優れた医療アプリケーションの開発を進めるためには、現在の最先端の LVLM に対処する必要がある 5 つの重要な欠陥があることを特定しました。
私たちは、GMAI-MMBench がコミュニティを刺激して、GMAI に向けた次世代の LVLM を構築すると信じています。

要約(オリジナル)

Large Vision-Language Models (LVLMs) are capable of handling diverse data types such as imaging, text, and physiological signals, and can be applied in various fields. In the medical field, LVLMs have a high potential to offer substantial assistance for diagnosis and treatment. Before that, it is crucial to develop benchmarks to evaluate LVLMs’ effectiveness in various medical applications. Current benchmarks are often built upon specific academic literature, mainly focusing on a single domain, and lacking varying perceptual granularities. Thus, they face specific challenges, including limited clinical relevance, incomplete evaluations, and insufficient guidance for interactive LVLMs. To address these limitations, we developed the GMAI-MMBench, the most comprehensive general medical AI benchmark with well-categorized data structure and multi-perceptual granularity to date. It is constructed from 285 datasets across 39 medical image modalities, 18 clinical-related tasks, 18 departments, and 4 perceptual granularities in a Visual Question Answering (VQA) format. Additionally, we implemented a lexical tree structure that allows users to customize evaluation tasks, accommodating various assessment needs and substantially supporting medical AI research and applications. We evaluated 50 LVLMs, and the results show that even the advanced GPT-4o only achieves an accuracy of 52%, indicating significant room for improvement. Moreover, we identified five key insufficiencies in current cutting-edge LVLMs that need to be addressed to advance the development of better medical applications. We believe that GMAI-MMBench will stimulate the community to build the next generation of LVLMs toward GMAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google