‘KAN you hear me?’ Exploring Kolmogorov-Arnold Networks for Spoken Language Understanding

要約

Kolmogorov-Arnold Networks（KANS）は最近、従来の神経アーキテクチャの有望な代替手段として浮上していますが、音声処理への適用は調査中に残っています。
この作業は、話された言語理解（SLU）タスクのためのKansの最初の調査を提示します。
2つのデータセットで2D-CNNモデルを実験し、密なブロック内の5つの異なる構成にKan層を統合します。
Kan層を2つの線形層の間に配置する最高のパフォーマンスのセットアップは、トランスベースのモデルに直接適用され、5つのSLUデータセットで複雑さを増して評価されます。
私たちの結果は、Kan層が線形層を効果的に置き換えることができ、ほとんどの場合、同等または優れた性能を達成できることを示しています。
最後に、トランスの上のKanと線形層が、生の波形の入力領域にどのように異なる方法があるかについての洞察を提供します。

要約(オリジナル)

Kolmogorov-Arnold Networks (KANs) have recently emerged as a promising alternative to traditional neural architectures, yet their application to speech processing remains under explored. This work presents the first investigation of KANs for Spoken Language Understanding (SLU) tasks. We experiment with 2D-CNN models on two datasets, integrating KAN layers in five different configurations within the dense block. The best-performing setup, which places a KAN layer between two linear layers, is directly applied to transformer-based models and evaluated on five SLU datasets with increasing complexity. Our results show that KAN layers can effectively replace the linear layers, achieving comparable or superior performance in most cases. Finally, we provide insights into how KAN and linear layers on top of transformers differently attend to input regions of the raw waveforms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google