Class-Dependent Perturbation Effects in Evaluating Time Series Attributions

要約

機械学習モデルが時系列アプリケーションでますます一般的になるにつれて、説明可能な人工知能（XAI）の方法は、それらの予測を理解するために不可欠です。
XAI内では、機能の帰属方法が、どの入力機能がモデルの予測に最も寄与するかを特定することを目的としています。その評価は通常、摂動ベースのメトリックに依存しています。
複数のデータセット、モデルアーキテクチャ、および摂動戦略にわたる体系的な経験的分析を通じて、これらのメトリックで以前見落とされがちなクラス依存の効果を明らかにします。クラス全体でさまざまな効果を示し、他の人にはあまり敏感ではありません。
特に、最も効果的な摂動戦略は、しばしば最も顕著なクラスの違いを示していることがわかります。
私たちの分析は、これらの効果が分類器の学習バイアスから生じることを示唆しており、摂動ベースの評価が本質的な属性の品質ではなく特定のモデルの動作を反映している可能性があることを示しています。
クラスの属性の評価におけるこれらの効果の評価と説明を支援するために、クラスを意識したペナルティ期間を備えた評価フレームワークを提案し、クラスに包まれたデータセットに特別な価値を提供します。
私たちの分析は時系列分類に焦点を当てていますが、これらのクラス依存効果は、摂動ベースの評価が一般的な他の構造化データドメインにまで及ぶ可能性があります。

要約(オリジナル)

As machine learning models become increasingly prevalent in time series applications, Explainable Artificial Intelligence (XAI) methods are essential for understanding their predictions. Within XAI, feature attribution methods aim to identify which input features contribute the most to a model’s prediction, with their evaluation typically relying on perturbation-based metrics. Through systematic empirical analysis across multiple datasets, model architectures, and perturbation strategies, we reveal previously overlooked class-dependent effects in these metrics: they show varying effectiveness across classes, achieving strong results for some while remaining less sensitive to others. In particular, we find that the most effective perturbation strategies often demonstrate the most pronounced class differences. Our analysis suggests that these effects arise from the learned biases of classifiers, indicating that perturbation-based evaluation may reflect specific model behaviors rather than intrinsic attribution quality. We propose an evaluation framework with a class-aware penalty term to help assess and account for these effects in evaluating feature attributions, offering particular value for class-imbalanced datasets. Although our analysis focuses on time series classification, these class-dependent effects likely extend to other structured data domains where perturbation-based evaluation is common.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google