MMGPL: Multimodal Medical Data Analysis with Graph Prompt Learning

要約

迅速な学習は、幅広い下流タスクに合わせてマルチモーダル大規模モデルを微調整する際に優れた効果を発揮することが実証されています。
それにもかかわらず、神経疾患の診断に既存の即時学習方法を適用することには、依然として 2 つの問題があります。(i) 神経画像診断においてこの疾患に関連するパッチは少数であるにもかかわらず、既存の方法では通常、すべてのパッチが平等に扱われます。
ii) 彼らは、神経疾患の理解と診断に重要な脳接続ネットワークに固有の構造情報を無視しています。
これらの問題に取り組むために、神経疾患を診断するためのマルチモーダル大規模モデルの微調整プロセス中にグラフプロンプトを学習することにより、新しいプロンプト学習モデルを導入します。
具体的には、まず GPT-4 を利用して関連する疾患概念を取得し、これらの概念とすべてのパッチの間の意味的類似性を計算します。
第二に、各パッチと疾患関連の概念の間の意味的類似性に応じて、無関係なパッチの重みを減らします。
さらに、これらの概念に基づいてトークン間でグラフを構築し、グラフ畳み込みネットワーク層を使用してグラフの構造情報を抽出します。これは、神経疾患を診断するための事前トレーニングされたマルチモーダル大規模モデルを促すために使用されます。
広範な実験により、私たちの方法が最先端の方法と比較して神経障害の診断において優れたパフォーマンスを達成し、臨床医によって検証されたことが実証されています。

要約(オリジナル)

Prompt learning has demonstrated impressive efficacy in the fine-tuning of multimodal large models to a wide range of downstream tasks. Nonetheless, applying existing prompt learning methods for the diagnosis of neurological disorder still suffers from two issues: (i) existing methods typically treat all patches equally, despite the fact that only a small number of patches in neuroimaging are relevant to the disease, and (ii) they ignore the structural information inherent in the brain connection network which is crucial for understanding and diagnosing neurological disorders. To tackle these issues, we introduce a novel prompt learning model by learning graph prompts during the fine-tuning process of multimodal large models for diagnosing neurological disorders. Specifically, we first leverage GPT-4 to obtain relevant disease concepts and compute semantic similarity between these concepts and all patches. Secondly, we reduce the weight of irrelevant patches according to the semantic similarity between each patch and disease-related concepts. Moreover, we construct a graph among tokens based on these concepts and employ a graph convolutional network layer to extract the structural information of the graph, which is used to prompt the pre-trained multimodal large models for diagnosing neurological disorders. Extensive experiments demonstrate that our method achieves superior performance for neurological disorder diagnosis compared with state-of-the-art methods and validated by clinicians.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google