DropKAN: Regularizing KANs by masking post-activations

要約

我々は、Kolmogorov-Arnold Networks (KAN) における活性化関数の重みの共適応を防ぐ正則化手法である DropKAN (Dropout Kolmogorov-Arnold Networks) を提案します。
DropKAN は、KAN 計算グラフ内のアクティベーション後の一部をランダムにマスクし、保持されているアクティベーション後のものをスケールアップすることによって動作します。
最小限のコーディング作業を必要とするこの単純な手順には正則化効果があり、一貫して KAN のより良い一般化につながることを示します。
我々は、KAN による標準ドロップアウトの適応を分析し、KAN のニューロンに適用されるドロップアウトがフィードフォワード パスで予測不可能な動作を引き起こす可能性があることを実証します。
私たちは、その結果を検証するために、現実世界の機械学習データセットを使用した実証研究を行っています。
私たちの結果は、DropKAN が常に KAN で標準の Dropout を使用するより優れた代替手段であり、KAN の汎化パフォーマンスを向上させることを示唆しています。
DropKAN の実装は \url{https://github.com/Ghaith81/dropkan} から入手できます。

要約(オリジナル)

We propose DropKAN (Dropout Kolmogorov-Arnold Networks) a regularization method that prevents co-adaptation of activation function weights in Kolmogorov-Arnold Networks (KANs). DropKAN operates by randomly masking some of the post-activations within the KANs computation graph, while scaling-up the retained post-activations. We show that this simple procedure that require minimal coding effort has a regularizing effect and consistently lead to better generalization of KANs. We analyze the adaptation of the standard Dropout with KANs and demonstrate that Dropout applied to KANs’ neurons can lead to unpredictable behaviour in the feedforward pass. We carry an empirical study with real world Machine Learning datasets to validate our findings. Our results suggest that DropKAN is consistently a better alternative to using standard Dropout with KANs, and improves the generalization performance of KANs. Our implementation of DropKAN is available at: \url{https://github.com/Ghaith81/dropkan}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google