Exploring Kolmogorov-Arnold Networks for Interpretable Time Series Classification

要約

時系列の分類は、さまざまなドメインでの意思決定プロセスをサポートする関連するステップであり、深いニューラルモデルは有望なパフォーマンスを示しています。
深い学習の大幅な進歩にもかかわらず、複雑なアーキテクチャの機能がどのように、なぜ制限されているかについての理論的理解は、より解釈可能なモデルの必要性を促します。
最近、Kolmogorov-Arnold Networks（Kans）は、より解釈可能な代替として提案されています。
Kan関連の研究はこれまでに大幅に増加していますが、時系列分類のためのKan建築の研究は限られています。
この論文では、UCRベンチマークでの時系列分類のために、Kanアーキテクチャの包括的な堅牢な調査を実施することを目指しています。
より具体的には、a）分類への転送を予測するための参照アーキテクチャ、b）ハイパーパラメーターと実装の影響を、選択したベンチマークで最もよく機能するもの、c）複雑さのトレードオフを見つけることを考慮して、分類パフォーマンスに対する実装の影響について説明します。
d）解釈可能性の利点。
私たちの結果は、（1）効率的なKanがパフォーマンスと計算効率のMLPを上回り、タスク分類タスクに対する適合性を示していることを示しています。
（2）効率的なKanは、特に学習率が低い場合、グリッドサイズ、深さ、層構成全体でKanよりも安定しています。
（3）Kanは、Hive-Cote2のような最先端のモデルと比較して競争の正確性を維持しており、アーキテクチャが小さく、トレーニング時間が短く、パフォーマンスと透明性のバランスをサポートしています。
（4）KANモデルの解釈可能性は、SHAP分析の結果と一致し、透明な意思決定の能力を強化します。

要約(オリジナル)

Time series classification is a relevant step supporting decision-making processes in various domains, and deep neural models have shown promising performance. Despite significant advancements in deep learning, the theoretical understanding of how and why complex architectures function remains limited, prompting the need for more interpretable models. Recently, the Kolmogorov-Arnold Networks (KANs) have been proposed as a more interpretable alternative. While KAN-related research is significantly rising, to date, the study of KAN architectures for time series classification has been limited. In this paper, we aim to conduct a comprehensive and robust exploration of the KAN architecture for time series classification on the UCR benchmark. More specifically, we look at a) how reference architectures for forecasting transfer to classification, at the b) hyperparameter and implementation influence on the classification performance in view of finding the one that performs best on the selected benchmark, the c) complexity trade-offs and d) interpretability advantages. Our results show that (1) Efficient KAN outperforms MLP in performance and computational efficiency, showcasing its suitability for tasks classification tasks. (2) Efficient KAN is more stable than KAN across grid sizes, depths, and layer configurations, particularly with lower learning rates. (3) KAN maintains competitive accuracy compared to state-of-the-art models like HIVE-COTE2, with smaller architectures and faster training times, supporting its balance of performance and transparency. (4) The interpretability of the KAN model aligns with findings from SHAP analysis, reinforcing its capacity for transparent decision-making.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google