On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective

要約

タイトル：
・「RemOve-And-Retrain」の落とし穴：データ処理不等式の観点から

要約：
・「RemOve-And-Retrain (ROAR)」プロトコルの信頼性を評価する論文
・ROARは、特徴の重要性推定のパフォーマンスを測定するために使用される
・理論的背景と実験から、決定関数に関する情報が少ない属性のほうがROARベンチマークでより良いパフォーマンスを発揮することがわかった
・これはROARの本来の目的とは相反する現象であり、最近提案されたRemOve-And-Debias (ROAD)でも観察されている
・ROAR属性指標におけるぼやけバイアスの一貫した傾向を提案し、ROARメトリックに対する非批判的な依存に注意を喚起
・ROARメトリックに対する非批判的な依存に注意を喚起する結果となった

要点：
・ROARプロトコルの信頼性を評価する
・決定関数に関する情報が少ない属性のほうがROARベンチマークでより良いパフォーマンスを発揮することがある
・ROARの本来の目的とは相反する現象であり、ROADでも観察される
・ROAR属性指標におけるぼやけバイアスの傾向を提案する
・ROARメトリックに対する非批判的な依存に注意を喚起する

要約(オリジナル)

This paper assesses the reliability of the RemOve-And-Retrain (ROAR) protocol, which is used to measure the performance of feature importance estimates. Our findings from the theoretical background and empirical experiments indicate that attributions that possess less information about the decision function can perform better in ROAR benchmarks, conflicting with the original purpose of ROAR. This phenomenon is also observed in the recently proposed variant RemOve-And-Debias (ROAD), and we propose a consistent trend of blurriness bias in ROAR attribution metrics. Our results caution against uncritical reliance on ROAR metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI