Multimodal Explainability via Latent Shift applied to COVID-19 stratification

要約

私たちは医療における人工知能の広範な導入を目の当たりにしています。
ただし、この分野における深層学習の進歩のほとんどは単峰性データのみを考慮しており、他の様式は無視されています。
診断、予後、治療の決定をサポートするために必要な多角的な解釈。
この研究では、表形式のデータと画像データを使用してモダリティの再構成とサンプルの分類を共同で学習するディープ アーキテクチャを紹介します。
下された決定の説明は、決定に最も寄与する各モダリティの特徴とモダリティの重要性を示す定量的スコアを明らかにする反事実予測をシミュレートする潜在シフトを適用することによって計算されます。
私たちは、重篤な転帰のリスクにさらされている患者を早期に特定するためのマルチモーダルデータを含む AIforCOVID データセットを使用して、新型コロナウイルス感染症 (COVID-19) のパンデミックに関連したアプローチを検証します。
結果は、提案された方法が分類パフォーマンスを低下させることなく意味のある説明を提供することを示しています。

要約(オリジナル)

We are witnessing a widespread adoption of artificial intelligence in healthcare. However, most of the advancements in deep learning in this area consider only unimodal data, neglecting other modalities. Their multimodal interpretation necessary for supporting diagnosis, prognosis and treatment decisions. In this work we present a deep architecture, which jointly learns modality reconstructions and sample classifications using tabular and imaging data. The explanation of the decision taken is computed by applying a latent shift that, simulates a counterfactual prediction revealing the features of each modality that contribute the most to the decision and a quantitative score indicating the modality importance. We validate our approach in the context of COVID-19 pandemic using the AIforCOVID dataset, which contains multimodal data for the early identification of patients at risk of severe outcome. The results show that the proposed method provides meaningful explanations without degrading the classification performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google