MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs

要約

医療分野での人工知能アプリケーションの開発への関心が高まっていますが、主にプライバシー関連の問題により、高品質のデータセットが不足していることに悩まされています。
さらに、最近の大規模マルチモーダル モデル (LMM) の増加により、臨床レポートや所見が対応する CT または MRI スキャンに添付されるマルチモーダル医療データ セットの必要性が生じています。
このペーパーでは、MedPix 2.0 データ セットを構築するためのワークフロー全体を説明します。
主に医師、看護師、医療学生が継続医学教育の目的で使用するよく知られたマルチモーダル データ セット MedPix\textsuperscript{\textregistered} から始まり、視覚データとテキスト データを抽出し、その後マニュアルを作成する半自動パイプラインが開発されました。
ノイズの多いサンプルを除去する硬化手順により、MongoDB データベースが作成されます。
データセットとともに、MongoDB インスタンスを効率的に操作し、LMM のトレーニングや微調整に簡単に使用できる生データを取得することを目的とした GUI を開発しました。
この点を強調するために、この作業ではまず、MedPix 2.0 を使用してトレーニングされた RAG ベースの LMM である DR-Minerva を思い出します。
DR-Minerva は、入力画像のスキャンに使用される体の部位とモダリティを予測します。
また、Llama 3.1 Instruct 8B を使用し、MedPix 2.0 を活用するナレッジ グラフによる DR-Minerva の拡張も提案します。
結果として得られるアーキテクチャは、医療意思決定支援システムとしてエンドツーエンド方式でクエリを実行できます。
MedPix 2.0 は GitHub で入手できます。
\url{https://github.com/CHILab1/MedPix-2.0}

要約(オリジナル)

The increasing interest in developing Artificial Intelligence applications in the medical domain, suffers from the lack of high-quality data set, mainly due to privacy-related issues. In addition, the recent increase in large multimodal models (LMM) leads to the need for multimodal medical data sets, where clinical reports and findings are attached to the corresponding CT or MRI scans. This paper illustrates the entire workflow for building the MedPix 2.0 data set. Starting with the well-known multimodal data set MedPix\textsuperscript{\textregistered}, mainly used by physicians, nurses, and healthcare students for Continuing Medical Education purposes, a semi-automatic pipeline was developed to extract visual and textual data followed by a manual curing procedure in which noisy samples were removed, thus creating a MongoDB database. Along with the data set, we developed a GUI aimed at navigating efficiently the MongoDB instance and obtaining the raw data that can be easily used for training and/or fine-tuning LMMs. To enforce this point, in this work, we first recall DR-Minerva, a RAG-based LMM trained using MedPix 2.0. DR-Minerva predicts the body part and the modality used to scan its input image. We also propose the extension of DR-Minerva with a Knowledge Graph that uses Llama 3.1 Instruct 8B, and leverages MedPix 2.0. The resulting architecture can be queried in a end-to-end manner, as a medical decision support system. MedPix 2.0 is available on GitHub. \url{https://github.com/CHILab1/MedPix-2.0}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google