ST-Tree with Interpretability for Multivariate Time Series Classification

要約

多変量時系列分類は実際のアプリケーションでは非常に重要であり、困難な作業です。
ただし、Transformers などのディープ ニューラル ネットワーク モデルは、多変量時系列分類では高い精度を示しますが、解釈可能性に欠けており、意思決定プロセスについての洞察を提供できません。
一方、決定木分類器に基づく従来のアプローチは明確な決定プロセスを提供しますが、精度は比較的低くなります。
Swin Transformer (ST) は、セルフアテンション メカニズムを活用して、きめの細かいローカル パターンとグローバル パターンの両方をキャプチャすることで、これらの問題に対処します。
また、マルチスケールの特徴表現学習をモデル化して、時系列特徴のより包括的な表現を提供することもできます。
前述の課題に取り組むために、私たちは多変量時系列分類のための解釈可能性を備えた ST-Tree を提案します。
具体的には、ST-Tree モデルは、バックボーン ネットワークとしての ST と追加のニューラル ツリー モデルを組み合わせます。
この統合により、ニューラル ツリーを通じて解釈可能な意思決定プロセスを提供しながら、時系列コンテキストの学習において ST の利点を最大限に活用することができます。
これにより、研究者はモデルの意思決定プロセスについて明確な洞察を得ることができ、意味のある解釈を引き出すことができます。
10 個の UEA データセットに対する実験的評価を通じて、ST ツリー モデルが多変量時系列分類タスクの精度を向上させ、さまざまなデータセットにわたる意思決定プロセスを視覚化することで解釈可能性を提供することを実証しました。

要約(オリジナル)

Multivariate time series classification is of great importance in practical applications and is a challenging task. However, deep neural network models such as Transformers exhibit high accuracy in multivariate time series classification but lack interpretability and fail to provide insights into the decision-making process. On the other hand, traditional approaches based on decision tree classifiers offer clear decision processes but relatively lower accuracy. Swin Transformer (ST) addresses these issues by leveraging self-attention mechanisms to capture both fine-grained local patterns and global patterns. It can also model multi-scale feature representation learning, thereby providing a more comprehensive representation of time series features. To tackle the aforementioned challenges, we propose ST-Tree with interpretability for multivariate time series classification. Specifically, the ST-Tree model combines ST as the backbone network with an additional neural tree model. This integration allows us to fully leverage the advantages of ST in learning time series context while providing interpretable decision processes through the neural tree. This enables researchers to gain clear insights into the model’s decision-making process and extract meaningful interpretations. Through experimental evaluations on 10 UEA datasets, we demonstrate that the ST-Tree model improves accuracy in multivariate time series classification tasks and provides interpretability through visualizing the decision-making process across different datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google