Greedy PIG: Adaptive Integrated Gradients

要約

ディープラーニングは、ほとんどの機械学習タスクに対する標準的なアプローチになっています。
その影響は否定できませんが、深層学習モデルの予測を人間の観点から解釈することは依然として課題です。
モデルのトレーニングとは対照的に、モデルの解釈可能性を定量化し、明示的な最適化問題として提起するのは困難です。
特徴帰属手法を評価するための AUC ソフトマックス情報曲線 (AUC SIC) メトリクスに触発され、特徴帰属とサブセット選択に基づく特徴選択のための統合離散最適化フレームワークを提案します。
これにより、Greedy PIG と呼ばれる、特徴帰属のためのパス統合勾配 (PIG) 法の自然な適応一般化が実現します。
画像特徴の帰属、グラフ圧縮/説明、表形式データのポストホック特徴選択など、さまざまなタスクにおける Greedy PIG の成功を実証します。
私たちの結果は、アダプティビティの導入が、アトリビューション手法をより強力にするための強力で汎用性の高い方法であることを示しています。

要約(オリジナル)

Deep learning has become the standard approach for most machine learning tasks. While its impact is undeniable, interpreting the predictions of deep learning models from a human perspective remains a challenge. In contrast to model training, model interpretability is harder to quantify and pose as an explicit optimization problem. Inspired by the AUC softmax information curve (AUC SIC) metric for evaluating feature attribution methods, we propose a unified discrete optimization framework for feature attribution and feature selection based on subset selection. This leads to a natural adaptive generalization of the path integrated gradients (PIG) method for feature attribution, which we call Greedy PIG. We demonstrate the success of Greedy PIG on a wide variety of tasks, including image feature attribution, graph compression/explanation, and post-hoc feature selection on tabular data. Our results show that introducing adaptivity is a powerful and versatile method for making attribution methods more powerful.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google