A multimodal method based on cross-attention and convolution for postoperative infection diagnosis

要約

術後の感染症の診断は一般的かつ重篤な合併症であり、一般に診断が非常に困難です。
この研究は、術後感染の一種である PJI に焦点を当てています。
X 線検査は、PJI が疑われる患者に対する画像検査で、人工関節および隣接組織を評価し、痛みの原因を検出できます。
臨床検査データは感度と特異度が高く、PJI 診断において大きな可能性を秘めています。
この研究では、自己教師ありマスク オートエンコーダ事前トレーニング戦略と、CrossAttend の特徴融合ネットワークを通じて 2 つのモーダル特徴間の相互作用を効果的に実装するマルチモーダル融合診断ネットワーク MED-NVC を提案しました。
私たちは、収集した PJI データセットで提案した方法をテストし、比較およびアブレーション実験を通じてそのパフォーマンスと実現可能性を評価しました。
結果は、私たちの方法が 94.71% の ACC と 98.22% の AUC を達成したことを示しました。これは最新の方法よりも優れており、パラメーターの数も削減されています。
私たちが提案した方法は、精度と効率を高めるための強力なツールを臨床医に提供する可能性があります。

要約(オリジナル)

Postoperative infection diagnosis is a common and serious complication that generally poses a high diagnostic challenge. This study focuses on PJI, a type of postoperative infection. X-ray examination is an imaging examination for suspected PJI patients that can evaluate joint prostheses and adjacent tissues, and detect the cause of pain. Laboratory examination data has high sensitivity and specificity and has significant potential in PJI diagnosis. In this study, we proposed a self-supervised masked autoencoder pre-training strategy and a multimodal fusion diagnostic network MED-NVC, which effectively implements the interaction between two modal features through the feature fusion network of CrossAttention. We tested our proposed method on our collected PJI dataset and evaluated its performance and feasibility through comparison and ablation experiments. The results showed that our method achieved an ACC of 94.71% and an AUC of 98.22%, which is better than the latest method and also reduces the number of parameters. Our proposed method has the potential to provide clinicians with a powerful tool for enhancing accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google