Flow AM: Generating Point Cloud Global Explanations by Latent Alignment

要約

近年、点群モデルの予測精度は大幅に向上しましたが、その信頼性はまだ十分に調査されていません。
全体的な説明可能性の観点からは、点群モデルの特殊な構造により、画像領域の活性化最大化 (AM) 技術を直接移植することはできません。
既存の研究では、生成モデルを利用して、人間が認識できる全体的な説明を導き出しています。
ただし、生成モデル自体の不透明さと追加の事前分布の導入により、説明の妥当性と忠実性に疑問が生じます。
この研究では、分類器がさまざまなタイプのインスタンスを予測するときに、中間層のアクティベーションが異なる方法でアクティベートされることを実証します (アクティベーション フローと呼ばれます)。
この特性に基づいて、生成モデルを組み込むことなく知覚できる全体的な説明を生成する活性化フローベースの AM 手法を提案します。
さらに、生成モデルに基づく AM は健全性チェックに失敗し、したがって忠実度が欠如していることを明らかにしました。
広範な実験により、私たちのアプローチは、生成モデルに基づいていない他の AM 手法と比較して、説明の知覚可能性が劇的に向上することが示されています。
私たちのコードはhttps://github.com/Explain3D/FlowAMから入手できます。

要約(オリジナル)

Although point cloud models have gained significant improvements in prediction accuracy over recent years, their trustworthiness is still not sufficiently investigated. In terms of global explainability, Activation Maximization (AM) techniques in the image domain are not directly transplantable due to the special structure of the point cloud models. Existing studies exploit generative models to yield global explanations that can be perceived by humans. However, the opacity of the generative models themselves and the introduction of additional priors call into question the plausibility and fidelity of the explanations. In this work, we demonstrate that when the classifier predicts different types of instances, the intermediate layer activations are differently activated, known as activation flows. Based on this property, we propose an activation flow-based AM method that generates global explanations that can be perceived without incorporating any generative model. Furthermore, we reveal that AM based on generative models fails the sanity checks and thus lack of fidelity. Extensive experiments show that our approach dramatically enhances the perceptibility of explanations compared to other AM methods that are not based on generative models. Our code is available at: https://github.com/Explain3D/FlowAM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google