MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications

要約

主にプライバシー関連の問題により、医療領域での人工知能アプリケーションの開発への関心の高まりは、高品質のデータセットの欠如に苦しんでいます。
さらに、最近の大規模なマルチモーダルモデル（LMM）の上昇は、臨床報告と調査結果が対応するCTまたはMRスキャンに付随するマルチモーダル医療データセットの必要性につながります。
このペーパーでは、データセットMedPix 2.0を構築するためのワークフロー全体を示しています。
主に医師、看護師、医療学生が医学教育を継続するために使用している有名なマルチモーダルデータセットMedPixから、半自動パイプラインが開発され、視覚データとテキストデータを抽出し、その後にノイズのサンプルが削除され、MongoDBデータベースが作成されました。
データセットに加えて、MongoDBインスタンスを効率的にナビゲートすることを目的としたGUIを開発し、LMMSのトレーニングや微調整に簡単に使用できる生データを取得しました。
このポイントを実施するために、スキャンモダリティとロケーション分類タスクのためにMedPix 2.0でトレーニングされたクリップベースのモデルも提案します。
Medpix 2.0はGithubで入手できます

要約(オリジナル)

The increasing interest in developing Artificial Intelligence applications in the medical domain, suffers from the lack of high-quality data set, mainly due to privacy-related issues. Moreover, the recent rising of Large Multimodal Models (LMM) leads to a need for multimodal medical data sets, where clinical reports and findings are attached to the corresponding CT or MR scans. This paper illustrates the entire workflow for building the data set MedPix 2.0. Starting from the well-known multimodal data set MedPix, mainly used by physicians, nurses and healthcare students for Continuing Medical Education purposes, a semi-automatic pipeline was developed to extract visual and textual data followed by a manual curing procedure where noisy samples were removed, thus creating a MongoDB database. Along with the data set, we developed a GUI aimed at navigating efficiently the MongoDB instance, and obtaining the raw data that can be easily used for training and/or fine-tuning LMMs. To enforce this point, we also propose a CLIP-based model trained on MedPix 2.0 for scanning modality and location classification tasks. MedPix 2.0 is available on GitHub

arxiv情報

提供元, 利用サービス

arxiv.jp, Google