UKAN: Unbound Kolmogorov-Arnold Network Accompanied with Accelerated Library

要約

この研究では、Kolmogorov-Arnold Networks (KAN) の基礎となるコンポーネント用の GPU アクセラレーション ライブラリと、KAN 内の境界グリッドを排除するアルゴリズムを紹介します。
GPU アクセラレートされたライブラリは、既存のコードと比較してベーシス スプライン (B-スプライン) 評価の計算複雑さを $\mathcal{O}$(グリッド サイズ) の係数で軽減し、大規模な学習のためのバッチ計算を可能にします。
従来の KAN の制限を克服するために、Unbounded KAN (UKAN) を導入しました。これにより、有界グリッドと固定数の B スプライン係数が不要になります。
これを行うには、KAN パラメータ (B スプライン係数) を係数生成器 (CG) モデルに置き換えます。
CG モデルへの入力は、負の無限大から正の無限大まで広がる無限対称グリッドの考えに基づいて設計されています。
B スプライン グリッド インデックスの連続コレクションであるグリッド グループの位置エンコーディングが CG モデルに供給され、係数が B スプライン関数の効率的な実装 (行列表現) によって消費されて出力が生成されます。
私たちは、回帰、分類、生成タスクに関するいくつかの実験を実行しますが、これらは有望です。
特に、UKAN では、評価のためにデータの正規化や境界領域を必要としません。
さらに、ベンチマーク結果は、既存のコードと比較して、ライブラリのメモリと計算効率が優れていることを示しています。

要約(オリジナル)

In this work, we present a GPU-accelerated library for the underlying components of Kolmogorov-Arnold Networks (KANs), along with an algorithm to eliminate bounded grids in KANs. The GPU-accelerated library reduces the computational complexity of Basis Spline (B-spline) evaluation by a factor of $\mathcal{O}$(grid size) compared to existing codes, enabling batch computation for large-scale learning. To overcome the limitations of traditional KANs, we introduce Unbounded KANs (UKANs), which eliminate the need for a bounded grid and a fixed number of B-spline coefficients. To do so, we replace the KAN parameters (B-spline coefficients) with a coefficient generator (CG) model. The inputs to the CG model are designed based on the idea of an infinite symmetric grid extending from negative infinity to positive infinity. The positional encoding of grid group, a sequential collection of B-spline grid indexes, is fed into the CG model, and coefficients are consumed by the efficient implementation (matrix representations) of B-spline functions to generate outputs. We perform several experiments on regression, classification, and generative tasks, which are promising. In particular, UKAN does not require data normalization or a bounded domain for evaluation. Additionally, our benchmarking results indicate the superior memory and computational efficiency of our library compared to existing codes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google