Fast and Simple Explainability for Point Cloud Networks

要約

点群データに対する高速かつシンプルな説明可能な AI (XAI) 手法を提案します。
トレーニングされたネットワークの下流タスクに関して点ごとの重要度を計算します。
これにより、安全性が重要なアプリケーションにとって不可欠なネットワーク特性をより深く理解できるようになります。
デバッグと視覚化に加えて、計算の複雑さが低いため、推論時のネットワークへのオンライン フィードバックが容易になります。
これを使用して、不確実性を軽減し、堅牢性を高めることができます。
この研究では、 \emph{Feature Based Interpretability} (FBI) を導入し、ボトルネックの前にポイントごとに特徴のノルムを計算します。
勾配とボトルネック後およびボトルネック前の戦略の使用を分析し、滑らかさとランキングの観点からボトルネック前の戦略が好ましいことを示しています。
現在の XAI 手法と比較して少なくとも 3 桁の速度向上が得られるため、大きな点群や大規模アーキテクチャにも拡張可能です。
私たちのアプローチは、分類の説明可能性の観点から SOTA の結果を達成します。
提案された尺度が、回転不変性、分布外 (OOD) 外れ値に対する堅牢性、ドメイン シフト、データセットのバイアスなど、3D 学習のさまざまな側面の分析と特徴付けにどのように役立つかを示します。

要約(オリジナル)

We propose a fast and simple explainable AI (XAI) method for point cloud data. It computes pointwise importance with respect to a trained network downstream task. This allows better understanding of the network properties, which is imperative for safety-critical applications. In addition to debugging and visualization, our low computational complexity facilitates online feedback to the network at inference. This can be used to reduce uncertainty and to increase robustness. In this work, we introduce \emph{Feature Based Interpretability} (FBI), where we compute the features’ norm, per point, before the bottleneck. We analyze the use of gradients and post- and pre-bottleneck strategies, showing pre-bottleneck is preferred, in terms of smoothness and ranking. We obtain at least three orders of magnitude speedup, compared to current XAI methods, thus, scalable for big point clouds or large-scale architectures. Our approach achieves SOTA results, in terms of classification explainability. We demonstrate how the proposed measure is helpful in analyzing and characterizing various aspects of 3D learning, such as rotation invariance, robustness to out-of-distribution (OOD) outliers or domain shift and dataset bias.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google