HGT: A Hierarchical GCN-Based Transformer for Multimodal Periprosthetic Joint Infection Diagnosis Using CT Images and Text

要約

人工関節感染症 (PJI) は、診断上の難易度が高いことを特徴とする、蔓延している重篤な合併症です。
現在、CT画像にはノイズが多く、CT画像とテキストデータのデータ量には差があるため、PJIにCT画像と数値テキストデータの両方を組み込んだ統一診断基準は確立されていない。
この研究では、深層学習とマルチモーダル技術に基づいた診断手法 HGT を紹介します。
これは、単方向選択的注意 (USA) メカニズムとグラフ畳み込みネットワーク (GCN) ベースの特徴融合ネットワークを介して、CT スキャン画像と患者の数値テキスト データからの特徴を効果的に結合します。
私たちは、カスタム構築されたマルチモーダル PJI データセットで提案された方法を評価し、アブレーション実験と解釈可能性評価を通じてそのパフォーマンスを評価しました。
私たちの手法は、わずか 6,800 万のパラメーター数で、精度 (ACC) 91.4%、曲線下面積 (AUC) 95.9% を達成し、最近のマルチモーダル アプローチを ACC で 2.9%、AUC で 2.2% 上回りました。
。
特に、解釈可能性の結果は、病変部位でのモデルの強力な焦点と位置特定能力を強調しました。
この提案された方法は、臨床現場での精度と効率を高める追加の診断ツールを臨床医に提供する可能性があります。

要約(オリジナル)

Prosthetic Joint Infection (PJI) is a prevalent and severe complication characterized by high diagnostic challenges. Currently, a unified diagnostic standard incorporating both computed tomography (CT) images and numerical text data for PJI remains unestablished, owing to the substantial noise in CT images and the disparity in data volume between CT images and text data. This study introduces a diagnostic method, HGT, based on deep learning and multimodal techniques. It effectively merges features from CT scan images and patients’ numerical text data via a Unidirectional Selective Attention (USA) mechanism and a graph convolutional network (GCN)-based feature fusion network. We evaluated the proposed method on a custom-built multimodal PJI dataset, assessing its performance through ablation experiments and interpretability evaluations. Our method achieved an accuracy (ACC) of 91.4\% and an area under the curve (AUC) of 95.9\%, outperforming recent multimodal approaches by 2.9\% in ACC and 2.2\% in AUC, with a parameter count of only 68M. Notably, the interpretability results highlighted our model’s strong focus and localization capabilities at lesion sites. This proposed method could provide clinicians with additional diagnostic tools to enhance accuracy and efficiency in clinical practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google