An explainable three dimension framework to uncover learning patterns: A unified look in variable sulci recognition

要約

説明可能な AI は医療画像処理において極めて重要です。
神経科学という難しい分野では、視覚的なトピックは、特に 3 次元空間内で高度な複雑さを示します。
MRI から脳溝の特徴を特定することを含む神経科学の応用は、専門家の間で異なる注釈プロトコルと脳の複雑な 3 次元機能により、大きなハードルに直面しています。
したがって、従来の説明可能性アプローチでは、これらのネットワークを効果的に検証および評価するには不十分です。
これに対処するために、まず、検証プロトコルの信頼性に基づいて、自明のアプリケーション、半説明のアプリケーション、非説明のアプリケーション、および新しいパターンの学習アプリケーションに分類される、多様なコンピュータ ビジョン タスクにわたるさまざまなカテゴリの説明ニーズを概説する数学的定式化を提示します。
。
この数学的定式化に関して、必須の脳の解剖学的特徴である傍帯状溝の検出における深層学習ネットワークの出力を検証することを目的とした 3D 説明可能フレームワークを提案します。
このフレームワークは、ローカル 3D 説明、次元削減によるグローバル説明、連結されたグローバル説明、統計的形状特徴を統合し、パターン学習への新たな洞察を明らかにします。
私たちは、困難な TOP-OSLO データセットで 2 つの高度な 3D 深層学習ネットワークをトレーニングおよびテストし、特に左半球で溝の検出精度を大幅に向上させました。
このデータセットのさまざまなアノテーション プロトコルを使用した評価中に、私たちは、提案した 3D フレームワーク内で正確な予測と効果的なパターン学習を達成する上で、不偏アノテーション プロセスの重要な役割を強調しました。
提案されたフレームワークは、可変溝に注釈を付けるだけでなく、隠された AI の知識を明らかにし、脳の解剖学的構造と機能の理解を促進することを約束します。

要約(オリジナル)

Explainable AI is crucial in medical imaging. In the challenging field of neuroscience, visual topics present a high level of complexity, particularly within three-dimensional space. The application of neuroscience, which involves identifying brain sulcal features from MRI, faces significant hurdles due to varying annotation protocols among experts and the intricate three-dimension functionality of the brain. Consequently, traditional explainability approaches fall short in effectively validating and evaluating these networks. To address this, we first present a mathematical formulation delineating various categories of explanation needs across diverse computer vision tasks, categorized into self-explanatory, semi-explanatory, non-explanatory, and new-pattern learning applications based on the reliability of the validation protocol. With respect to this mathematical formulation, we propose a 3D explainability framework aimed at validating the outputs of deep learning networks in detecting the paracingulate sulcus an essential brain anatomical feature. The framework integrates local 3D explanations, global explanations through dimensionality reduction, concatenated global explanations, and statistical shape features, unveiling new insights into pattern learning. We trained and tested two advanced 3D deep learning networks on the challenging TOP-OSLO dataset, significantly improving sulcus detection accuracy, particularly on the left hemisphere. During evaluation with diverse annotation protocols for this dataset, we highlighted the crucial role of an unbiased annotation process in achieving precise predictions and effective pattern learning within our proposed 3D framework. The proposed framework not only annotates the variable sulcus but also uncovers hidden AI knowledge, promising to advance our understanding of brain anatomy and function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google