MultiFIX: An XAI-friendly feature inducing approach to building models from multimodal data

要約

健康分野では、多くの場合、さまざまなデータ モダリティに基づいて意思決定が行われます。
したがって、予測モデルを作成する場合、さまざまなデータ モダリティから関連する特徴を抽出して組み合わせることができるマルチモーダル融合アプローチは、非常に有益です。
さらに、これらのモデルを信頼できる責任ある方法で使用できるように、各モダリティが最終的な予測にどのような影響を与えるかを理解することが重要です。これは特にリスクの高い領域において重要です。
私たちは MultiFIX を提案します。これは、解釈可能性に焦点を当てた新しいマルチモーダル データ融合パイプラインで、さまざまなデータ型から個別の特徴を明示的に誘導し、その後それらを組み合わせて最終的な予測を行うことができます。
エンドツーエンドの深層学習アーキテクチャを使用して、予測モデルをトレーニングし、各モダリティの代表的な特徴を抽出します。
次に、モデルの各部分が説明可能な人工知能技術を使用して説明されます。
アテンション マップは、画像入力内の重要な領域を強調表示するために使用されます。
GP-GOMEA で学習した、本質的に解釈可能な記号式は、表形式の入力の寄与を記述するために使用されます。
ターゲットラベルを予測するための抽出された特徴の融合も、GP-GOMEA で学習されたシンボリック表現に置き換えられます。
合成問題の結果は、MultiFIX の長所と限界を示しています。
最後に、悪性皮膚病変を検出するために、公開されているデータセットに MultiFIX を適用します。

要約(オリジナル)

In the health domain, decisions are often based on different data modalities. Thus, when creating prediction models, multimodal fusion approaches that can extract and combine relevant features from different data modalities, can be highly beneficial. Furthermore, it is important to understand how each modality impacts the final prediction, especially in high-stake domains, so that these models can be used in a trustworthy and responsible manner. We propose MultiFIX: a new interpretability-focused multimodal data fusion pipeline that explicitly induces separate features from different data types that can subsequently be combined to make a final prediction. An end-to-end deep learning architecture is used to train a predictive model and extract representative features of each modality. Each part of the model is then explained using explainable artificial intelligence techniques. Attention maps are used to highlight important regions in image inputs. Inherently interpretable symbolic expressions, learned with GP-GOMEA, are used to describe the contribution of tabular inputs. The fusion of the extracted features to predict the target label is also replaced by a symbolic expression, learned with GP-GOMEA. Results on synthetic problems demonstrate the strengths and limitations of MultiFIX. Lastly, we apply MultiFIX to a publicly available dataset for the detection of malignant skin lesions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google