Explainable Multi-View Deep Networks Methodology for Experimental Physics

要約

物理実験には、X 線スキャンや顕微鏡画像などの複数の画像表現が含まれることがよくあります。
深層学習モデルは、これらの実験における教師あり分析に広く使用されています。
適切に分析して意思決定を行うには、さまざまな画像表現を組み合わせることが頻繁に必要になります。
その結果、マルチビュー データ、つまり各サンプルがさまざまな角度、ソース、またはモダリティからのビューによって記述されるデータセットが登場しました。
これらの問題は、マルチビュー学習の概念で解決されます。
深層学習モデルの意思決定プロセスを理解することは、信頼性の高い分析を行うために不可欠です。
したがって、最近では多くの説明可能性手法が考案されています。
それにもかかわらず、マルチビュー モデルには適切な説明可能性が欠如しており、そのアーキテクチャにより説明が困難です。
この論文では、それぞれが別の問題に適した視覚領域のさまざまなマルチビュー アーキテクチャを提案し、これらのモデルを説明する方法論も示します。
私たちの方法論の有効性を実証するために、私たちは高エネルギー密度物理学 (HEDP) 実験の領域に焦点を当てます。この実験では、複数の画像表現を使用して泡サンプルの品質を評価します。
当社では、提案されたマルチビュー アーキテクチャを使用して、フォーム サンプルの品質を分類する方法論を適用します。
実験結果を通じて、正確なアーキテクチャの選択による精度 (78% ～ 84%) と AUC (83% ～ 93%) の向上を示し、パフォーマンスと説明可能性の間のトレードオフを示します。
具体的には、私たちのアプローチが個々のワンビューモデルの説明を可能にし、各ビューの意思決定プロセスへの洞察を提供することを実証します。
この理解により、マルチビュー モデル全体の解釈可能性が向上します。
この研究のソースは、https://github.com/Scientific-Computing-Lab-NRCN/Multi-View-Explainability から入手できます。

要約(オリジナル)

Physical experiments often involve multiple imaging representations, such as X-ray scans and microscopic images. Deep learning models have been widely used for supervised analysis in these experiments. Combining different image representations is frequently required to analyze and make a decision properly. Consequently, multi-view data has emerged – datasets where each sample is described by views from different angles, sources, or modalities. These problems are addressed with the concept of multi-view learning. Understanding the decision-making process of deep learning models is essential for reliable and credible analysis. Hence, many explainability methods have been devised recently. Nonetheless, there is a lack of proper explainability in multi-view models, which are challenging to explain due to their architectures. In this paper, we suggest different multi-view architectures for the vision domain, each suited to another problem, and we also present a methodology for explaining these models. To demonstrate the effectiveness of our methodology, we focus on the domain of High Energy Density Physics (HEDP) experiments, where multiple imaging representations are used to assess the quality of foam samples. We apply our methodology to classify the foam samples quality using the suggested multi-view architectures. Through experimental results, we showcase the improvement of accurate architecture choice on both accuracy – 78% to 84% and AUC – 83% to 93% and present a trade-off between performance and explainability. Specifically, we demonstrate that our approach enables the explanation of individual one-view models, providing insights into the decision-making process of each view. This understanding enhances the interpretability of the overall multi-view model. The sources of this work are available at: https://github.com/Scientific-Computing-Lab-NRCN/Multi-View-Explainability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google