ONNXExplainer: an ONNX Based Generic Framework to Explain Neural Networks Using Shapley Values

要約

ニューラルネットワークモデルがなぜ特定の決定を下すのかを理解することは、推論性能と同じくらい重要な場合がある。ニューラルネットワークモデルの予測を説明するために様々な手法が提案されているが、その中でもシャプレー値が最も有名である。SHAPパッケージは、TensorFlowやPyTorchで実装されたニューラルネットワークを説明するためのシャプレー値の代表的な実装であるが、クロスプラットフォームのサポートやワンショットのデプロイに欠けており、非常に非効率である。これらの問題に対処するために、我々はONNXエコシステムにおいてシャプレー値を用いてニューラルネットワークを説明するための汎用フレームワークであるONNXExplainerを発表する。ONNXExplainerでは、独自の自動微分と最適化のアプローチを開発し、ニューラルネットワークの推論と説明をワンショットで展開できるだけでなく、少ないメモリ消費で説明を計算する効率を大幅に向上させる。公平な比較のために、同じ最適化をTensorFlowとPyTorchにも実装し、現在の最先端のオープンソースの対応物であるSHAPに対する性能を測定する。広範なベンチマークにより、提案する最適化アプローチがVGG19、ResNet50、DenseNet201、EfficientNetB0の説明待ち時間を500%も改善することが実証された。

要約(オリジナル)

Understanding why a neural network model makes certain decisions can be as important as the inference performance. Various methods have been proposed to help practitioners explain the prediction of a neural network model, of which Shapley values are most popular. SHAP package is a leading implementation of Shapley values to explain neural networks implemented in TensorFlow or PyTorch but lacks cross-platform support, one-shot deployment and is highly inefficient. To address these problems, we present the ONNXExplainer, which is a generic framework to explain neural networks using Shapley values in the ONNX ecosystem. In ONNXExplainer, we develop its own automatic differentiation and optimization approach, which not only enables One-Shot Deployment of neural networks inference and explanations, but also significantly improves the efficiency to compute explanation with less memory consumption. For fair comparison purposes, we also implement the same optimization in TensorFlow and PyTorch and measure its performance against the current state of the art open-source counterpart, SHAP. Extensive benchmarks demonstrate that the proposed optimization approach improves the explanation latency of VGG19, ResNet50, DenseNet201, and EfficientNetB0 by as much as 500%.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL