Don’t Get Me Wrong: How to Apply Deep Visual Interpretations to Time Series

要約

深層学習モデルの正しい解釈と理解は、多くのアプリケーションにおいて不可欠です。
画像の説明的な視覚的解釈アプローチと自然言語処理により、分野の専門家はほぼすべての深層学習モデルを検証し、理解することができます。
ただし、本質的に直観性が低く、多様性がより高い任意の時系列に一般化すると、不十分になります。
ビジュアライゼーションが正当な推論を説明しているのか、それとも実際の特徴を捉えているのかを判断するのは困難です。
したがって、盲目的な信頼ではなく、信頼できる品質指標を取得するための客観的な評価が必要です。
時系列分類およびセグメンテーションタスクのための、勾配、伝播、または摂動ベースの事後視覚的解釈方法のための 6 つの直交メトリクスのフレームワークを提案します。
実験的研究には、時系列に対する一般的なニューラル ネットワーク アーキテクチャと 9 つの視覚的解釈方法が含まれています。
UCR リポジトリからの多様なデータセットと複雑な現実世界のデータセットを使用して視覚的解釈方法を評価し、トレーニング中の標準的な正則化手法の影響を研究します。
どの方法もすべての指標において他の方法より一貫して優れているわけではありませんが、一部の方法が場合によっては優れていることを示します。
私たちの洞察と推奨事項により、専門家はモデルとタスクに適した視覚化手法を選択できます。

要約(オリジナル)

The correct interpretation and understanding of deep learning models are essential in many applications. Explanatory visual interpretation approaches for image, and natural language processing allow domain experts to validate and understand almost any deep learning model. However, they fall short when generalizing to arbitrary time series, which is inherently less intuitive and more diverse. Whether a visualization explains valid reasoning or captures the actual features is difficult to judge. Hence, instead of blind trust, we need an objective evaluation to obtain trustworthy quality metrics. We propose a framework of six orthogonal metrics for gradient-, propagation- or perturbation-based post-hoc visual interpretation methods for time series classification and segmentation tasks. An experimental study includes popular neural network architectures for time series and nine visual interpretation methods. We evaluate the visual interpretation methods with diverse datasets from the UCR repository and a complex, real-world dataset and study the influence of standard regularization techniques during training. We show that none of the methods consistently outperforms others on all metrics, while some are sometimes ahead. Our insights and recommendations allow experts to choose suitable visualization techniques for the model and task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google