On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

要約

タイトル：RemOve-And-Retrainの落とし穴：データ処理の不等式の視点から

要約：
– 近年、様々な文脈で機能重要度の近似方法である「Attribution method」が確立されてきた。深層学習においては、性能基準の強靭な技術開発が重要である。
– 本研究では、機能重要度の推定性能を評価するために頻繁に使用される「RemOve-And-Retrain (ROAR)」手法の信頼性を調査した。理論的基盤と実証的研究から得られた洞察力は、ROARの本来の意図に反して、決定関数に関する情報量が少ない評価結果が優れることを示している。
– この現象は、最近提唱されたバリアントの「RemOve-And-Debias (ROAD)」でも同様に観察され、ROARの評価指標における曖昧さバイアスの持続的なパターンが示唆されている。
– ROAR指標の無差別使用に対して警告する結論を導き、コードはオープンソースとして提供されている。

要約(オリジナル)

Approaches for appraising feature importance approximations, alternatively referred to as attribution methods, have been established across an extensive array of contexts. The development of resilient techniques for performance benchmarking constitutes a critical concern in the sphere of explainable deep learning. This study scrutinizes the dependability of the RemOve-And-Retrain (ROAR) procedure, which is prevalently employed for gauging the performance of feature importance estimates. The insights gleaned from our theoretical foundation and empirical investigations reveal that attributions containing lesser information about the decision function may yield superior results in ROAR benchmarks, contradicting the original intent of ROAR. This occurrence is similarly observed in the recently introduced variant RemOve-And-Debias (ROAD), and we posit a persistent pattern of blurriness bias in ROAR attribution metrics. Our findings serve as a warning against indiscriminate use on ROAR metrics. The code is available as open source.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI