VIS-MAE: An Efficient Self-supervised Learning Approach on Medical Image Segmentation and Classification

要約

人工知能 (AI) は、医療画像における診断とセグメンテーションに革命をもたらす可能性があります。
しかし、開発と臨床実装は、限られたデータ利用可能性、一般化可能性の欠如、マルチモーダルデータを効果的に組み込む必要性など、複数の課題に直面しています。
基盤モデルは大規模な事前トレーニングされた AI モデルであり、さまざまな特定のタスクやコンテキストに適応できる汎用性の高いベースを提供します。
ここでは、医療画像用に特別に設計された新しいモデル重みである VIsualization and Segmentation Masked AutoEncoder (VIS-MAE) を紹介します。
具体的には、VIS-MAE は、自己教師あり学習手法を使用して、さまざまなモダリティ (CT、MR、PET、X 線、超音波) からの 250 万枚のラベルなし画像のデータセットでトレーニングされます。
その後、明示的なラベルを使用した分類タスクとセグメンテーション タスクに適応されます。
VIS-MAE はラベル効率が高く、ドメイン内アプリケーションとドメイン外アプリケーションの両方でいくつかのベンチマーク モデルを上回ります。
さらに、VIS-MAE は、他の事前トレーニングされた重みと比較して、ラベル付きトレーニング データの量を削減 (50% または 80%) しながら他のモデルと同様のパフォーマンスを達成できるため、ラベル効率が向上しました。
VIS-MAE は医療画像 AI の大幅な進歩を表し、データ アノテーションのワークロードを軽減しながらセグメンテーションと分類のタスクを改善するための汎用化可能で堅牢なソリューションを提供します。
この作品のソースコードは https://github.com/lzl199704/VIS-MAE で入手できます。

要約(オリジナル)

Artificial Intelligence (AI) has the potential to revolutionize diagnosis and segmentation in medical imaging. However, development and clinical implementation face multiple challenges including limited data availability, lack of generalizability, and the necessity to incorporate multi-modal data effectively. A foundation model, which is a large-scale pre-trained AI model, offers a versatile base that can be adapted to a variety of specific tasks and contexts. Here, we present VIsualization and Segmentation Masked AutoEncoder (VIS-MAE), novel model weights specifically designed for medical imaging. Specifically, VIS-MAE is trained on a dataset of 2.5 million unlabeled images from various modalities (CT, MR, PET,X-rays, and ultrasound), using self-supervised learning techniques. It is then adapted to classification and segmentation tasks using explicit labels. VIS-MAE has high label efficiency, outperforming several benchmark models in both in-domain and out-of-domain applications. In addition, VIS-MAE has improved label efficiency as it can achieve similar performance to other models with a reduced amount of labeled training data (50% or 80%) compared to other pre-trained weights. VIS-MAE represents a significant advancement in medical imaging AI, offering a generalizable and robust solution for improving segmentation and classification tasks while reducing the data annotation workload. The source code of this work is available at https://github.com/lzl199704/VIS-MAE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google