Explainable 2D Vision Models for 3D Medical Data

要約

3 次元の画像データで人工知能 (AI) モデルをトレーニングする場合、2 次元の場合と比較して特有の課題が生じます。まず、計算リソースが大幅に多くなり、次に、利用可能な大規模な事前トレーニング データセットが制限されることが多く、トレーニングの成功が妨げられます。
この研究では、3D ボリュームを処理するための中間特徴表現を使用して 2D ネットワークを適応させる簡単なアプローチを提案します。
私たちの方法では、これらのネットワークをすべての方向から 3D ボリュームのスライスに順次適用します。
その後、特徴削減モジュールが抽出されたスライス特徴を単一の表現に結合し、それが分類に使用されます。
私たちは医療分類ベンチマークと現実世界の臨床データセットに基づくアプローチを評価し、既存の方法と同等の結果を実証します。
さらに、特徴削減モジュールとしてアテンションプーリングを採用することにより、フォワードパス中に各スライスの重み付けされた重要度値を取得します。
私たちのアプローチによって重要であるとみなされたスライスにより、モデルの予測の基礎を検査できることを示します。

要約(オリジナル)

Training Artificial Intelligence (AI) models on three-dimensional image data presents unique challenges compared to the two-dimensional case: Firstly, the computational resources are significantly higher, and secondly, the availability of large pretraining datasets is often limited, impeding training success. In this study, we propose a simple approach of adapting 2D networks with an intermediate feature representation for processing 3D volumes. Our method involves sequentially applying these networks to slices of a 3D volume from all orientations. Subsequently, a feature reduction module combines the extracted slice features into a single representation, which is then used for classification. We evaluate our approach on medical classification benchmarks and a real-world clinical dataset, demonstrating comparable results to existing methods. Furthermore, by employing attention pooling as a feature reduction module we obtain weighted importance values for each slice during the forward pass. We show that slices deemed important by our approach allow the inspection of the basis of a model’s prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google