BenchMD: A Benchmark for Modality-Agnostic Learning on Medical Images and Sensors

要約

タイトル：BenchMD：医療画像およびセンサーでのモダリティによらない学習のためのベンチマーク
要約：
– 医療データは多くの異なるモダリティで存在し、頻繁な分布シフトを経験し、例とラベルの不足からAIアルゴリズムに対して大きな課題を提供している。
– トランスフォーマーや自己教師あり学習などの最近の進歩により、より普遍的なアプローチが約束されており、これらの多様な条件に柔軟に適用できる。
– この方向性の進歩を測定し促進するために、BenchMDを発表する。
– BenchMDは、モダリティによらない方法（アーキテクチャやトレーニング技術など）がどのようにさまざまな臨床的に重要な医療課題に対して機能するかをテストするベンチマークであり、1Dセンサーデータ、2D画像、3D体積スキャンを含む7つの医療モダリティの19の公開データセットを組み合わせている。
– BenchMDは、困難なフューショット設定を含むデータセットサイズの範囲を評価することにより、現実世界のデータ制約を反映している。
– 最後に、トレーニングデータとは異なる病院で収集したデータを使用して、医療AIモデルの性能を劣化させる頻繁に発生する自然発生的な分布シフトを表す外部データの性能を評価する。
– 基礎となる結果は、どのモダリティに対しても強い性能を発揮するモダリティによらない手法がなく、BenchMDの改善の余地が十分にあることを示している。コードはhttps://github.com/rajpurkarlab/BenchMDで公開されています。

要約(オリジナル)

Medical data poses a daunting challenge for AI algorithms: it exists in many different modalities, experiences frequent distribution shifts, and suffers from a scarcity of examples and labels. Recent advances, including transformers and self-supervised learning, promise a more universal approach that can be applied flexibly across these diverse conditions. To measure and drive progress in this direction, we present BenchMD: a benchmark that tests how modality-agnostic methods, including architectures and training techniques (e.g. self-supervised learning, ImageNet pretraining), perform on a diverse array of clinically-relevant medical tasks. BenchMD combines 19 publicly available datasets for 7 medical modalities, including 1D sensor data, 2D images, and 3D volumetric scans. Our benchmark reflects real-world data constraints by evaluating methods across a range of dataset sizes, including challenging few-shot settings that incentivize the use of pretraining. Finally, we evaluate performance on out-of-distribution data collected at different hospitals than the training data, representing naturally-occurring distribution shifts that frequently degrade the performance of medical AI models. Our baseline results demonstrate that no modality-agnostic technique achieves strong performance across all modalities, leaving ample room for improvement on the benchmark. Code is released at https://github.com/rajpurkarlab/BenchMD .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI