A Gated Residual Kolmogorov-Arnold Networks for Mixtures of Experts

要約

この文書では、ゲート型残差コルモゴロフ・アーノルド ネットワーク (GRKAN) に基づく新しい専門家混合 (MoE) フレームワークである KAMoE を紹介します。
私たちは、MoE モデリングの効率と解釈可能性を高めることを目的として、従来のゲート機能の代替として GRKAN を提案します。
デジタル資産市場と不動産評価に関する広範な実験を通じて、KAMoE がさまざまなタスクやモデル タイプにわたって従来の MoE アーキテクチャよりも一貫して優れていることを実証しました。
私たちの結果は、GRKAN が、特に逐次タスク用の LSTM ベースのモデルにおいて、標準のゲート残差ネットワークと比較して優れたパフォーマンスを発揮することを示しています。
また、MoE および KAMoE アーキテクチャにおけるモデルの複雑さとパフォーマンス向上の間のトレードオフについての洞察も提供します。

要約(オリジナル)

This paper introduces KAMoE, a novel Mixture of Experts (MoE) framework based on Gated Residual Kolmogorov-Arnold Networks (GRKAN). We propose GRKAN as an alternative to the traditional gating function, aiming to enhance efficiency and interpretability in MoE modeling. Through extensive experiments on digital asset markets and real estate valuation, we demonstrate that KAMoE consistently outperforms traditional MoE architectures across various tasks and model types. Our results show that GRKAN exhibits superior performance compared to standard Gating Residual Networks, particularly in LSTM-based models for sequential tasks. We also provide insights into the trade-offs between model complexity and performance gains in MoE and KAMoE architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google