Transformer-based interpretable multi-modal data fusion for skin lesion classification

要約

最近のディープ ラーニング (DL) 研究の多くは、他の要因に関係なく、主に定量的指標の改善に焦点を当てています。
皮膚科における皮膚病変分類などの人間中心のアプリケーションでは、意思決定プロセスの透明性が限られているため、DL 主導の臨床意思決定支援システムはまだ初期段階にあります。
さらに、訓練された DL アルゴリズムの動作を説明できる手順が不足しているため、臨床医師からの信頼がほとんどなくなります。
皮膚病変を診断するために、皮膚科医は病気の視覚的評価と患者の既往歴から収集したデータに依存します。
マルチモーダル データを扱うデータ駆動型アルゴリズムは、畳み込みアーキテクチャで必要とされる機能レベルと決定レベルの融合手順の分離によって制限されます。
この問題に対処するために、トランスフォーマーベースのアーキテクチャのアテンション メカニズムを介して単一段階のマルチモーダル データ融合を可能にし、皮膚疾患の診断を支援します。
私たちの方法は、画像や患者データが豊富な環境において、他の最先端のシングルおよびマルチモーダル DL アーキテクチャを上回ります。
さらに、アーキテクチャの選択により、追加の変更を必要とせずに、画像とメタデータの両方のドメインで分類タスクのネイティブな解釈可能性のサポートが可能になります。

要約(オリジナル)

A lot of deep learning (DL) research these days is mainly focused on improving quantitative metrics regardless of other factors. In human-centered applications, like skin lesion classification in dermatology, DL-driven clinical decision support systems are still in their infancy due to the limited transparency of their decision-making process. Moreover, the lack of procedures that can explain the behavior of trained DL algorithms leads to almost no trust from clinical physicians. To diagnose skin lesions, dermatologists rely on visual assessment of the disease and the data gathered from the patient’s anamnesis. Data-driven algorithms dealing with multi-modal data are limited by the separation of feature-level and decision-level fusion procedures required by convolutional architectures. To address this issue, we enable single-stage multi-modal data fusion via the attention mechanism of transformer-based architectures to aid in diagnosing skin diseases. Our method beats other state-of-the-art single- and multi-modal DL architectures in image-rich and patient-data-rich environments. Additionally, the choice of the architecture enables native interpretability support for the classification task both in the image and metadata domain with no additional modifications necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google