Evaluation of post-hoc interpretability methods in time-series classification

要約

事後解釈可能性手法は、ニューラル ネットワークの結果を説明するための重要なツールです。
近年、いくつかのポストホック手法が登場しましたが、特定のタスクに適用すると異なる結果が生じるため、正しいポストホック解釈可能性を提供するにはどの手法が最適であるかという疑問が生じます。
各メソッドのパフォーマンスを理解するには、解釈可能メソッドの定量的な評価が不可欠です。
しかし、現在利用可能なフレームワークには、特に高リスク分野における事後解釈可能性手法の採用を妨げるいくつかの欠点があります。
この研究では、特に時系列分類における既存の事後解釈可能性手法のパフォーマンスを評価するための定量的指標を備えたフレームワークを提案します。
文献で特定されているいくつかの欠点、つまり人間の判断への依存、再トレーニング、サンプルを遮蔽する際のデータ分布のシフトが解決されていることを示します。
さらに、既知の識別機能と調整可能な複雑さを備えた合成データセットを設計します。
提案された方法論と定量的指標は、実際のアプリケーションで得られる解釈可能性手法の結果の信頼性を理解するために使用できます。
さらに、規制政策などの正確な解釈結果を必要とする重要な分野の運用ワークフロー内に埋め込むこともできます。

要約(オリジナル)

Post-hoc interpretability methods are critical tools to explain neural-network results. Several post-hoc methods have emerged in recent years, but when applied to a given task, they produce different results, raising the question of which method is the most suitable to provide correct post-hoc interpretability. To understand the performance of each method, quantitative evaluation of interpretability methods is essential. However, currently available frameworks have several drawbacks which hinders the adoption of post-hoc interpretability methods, especially in high-risk sectors. In this work, we propose a framework with quantitative metrics to assess the performance of existing post-hoc interpretability methods in particular in time series classification. We show that several drawbacks identified in the literature are addressed, namely dependence on human judgement, retraining, and shift in the data distribution when occluding samples. We additionally design a synthetic dataset with known discriminative features and tunable complexity. The proposed methodology and quantitative metrics can be used to understand the reliability of interpretability methods results obtained in practical applications. In turn, they can be embedded within operational workflows in critical fields that require accurate interpretability results for e.g., regulatory policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google