On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

要約

タイトル：「RemOve-And-Retrain」の落とし穴：データ処理格差の観点

要約：
– 特徴の重要性の近似値、すなわち属性化手法の評価アプローチは、広範囲の文脈で確立されています。
– 説明可能な深層学習の分野において、性能のベンチマークとなる強固な技術の開発が重大な関心事です。
– 本研究は、特徴の重要性の推定値の性能を測定するために一般的に使用される「RemOve-And-Retrain（ROAR）」手続きの信頼性を詳細に検証します。
– 理論的基盤と実証調査から得られた知見は、ROARベンチマークで、決定関数に関する情報が少ない属性が優れた結果を出すことがあり、ROARの本来の意図に反することを明らかにします。
– 最近導入された変種「RemOve-And-Debias（ROAD）」でも同様の傾向が見られ、ROAR属性指標のブレイクネスバイアスの持続的なパターンを示唆しています。
– 研究結果は、ROARメトリックの無差別使用に対する警告となります。

要約(オリジナル)

Approaches for appraising feature importance approximations, alternatively referred to as attribution methods, have been established across an extensive array of contexts. The development of resilient techniques for performance benchmarking constitutes a critical concern in the sphere of explainable deep learning. This study scrutinizes the dependability of the RemOve-And-Retrain (ROAR) procedure, which is prevalently employed for gauging the performance of feature importance estimates. The insights gleaned from our theoretical foundation and empirical investigations reveal that attributions containing lesser information about the decision function may yield superior results in ROAR benchmarks, contradicting the original intent of ROAR. This occurrence is similarly observed in the recently introduced variant RemOve-And-Debias (ROAD), and we posit a persistent pattern of blurriness bias in ROAR attribution metrics. Our findings serve as a warning against indiscriminate use on ROAR metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI