MetaSymNet: A Dynamic Symbolic Regression Network Capable of Evolving into Arbitrary Formulations

要約

数式は人間と自然の間のコミュニケーション手段として機能し、自然現象を支配する操作法則を要約しています。
これらの法則を簡潔に定式化することは、科学研究における重要な目標であり、人工知能 (AI) にとっての重要な課題です。
従来の人工ニューラル ネットワーク (MLP) はデータ フィッティングに優れていますが、多くの場合、変数 x と予測値 y の関係の理解を妨げる、解釈できないブラック ボックス結果が生成されます。
さらに、MLP の固定ネットワーク アーキテクチャでは、ネットワーク構造とパラメータの両方に冗長性が生じることがよくあります。
これらの問題に対処するために、私たちはリアルタイムで構造を動的に調整し、拡張と縮小の両方を可能にする新しいニューラル ネットワークである MetaSymNet を提案します。
この適応ネットワークは、活性化関数として PANGU メタ関数を採用しています。これは、トレーニング中にさまざまな基本関数に進化して、特定のニーズに合わせた数式を作成できるユニークなタイプです。
次に、ニューラル ネットワークを簡潔で解釈可能な数式に進化させます。
MetaSymNet のパフォーマンスを評価するために、222 の数式で構成される 10 以上の公開データセットにわたる 4 つの最先端のシンボリック回帰アルゴリズムと比較します。
私たちの実験結果は、ノイズの有無に関係なく、私たちのアルゴリズムが他のアルゴリズムよりも一貫して優れていることを示しています。
さらに、機械学習アルゴリズムの 2 つの重要な側面であるフィッティング能力と外挿能力に関して、MLP および SVM に対して MetaSymNet を評価します。
この調査結果から、私たちのアルゴリズムが両方の分野で優れていることが明らかになりました。
最後に、ネットワーク構造の複雑さにおいて反復枝刈りを使用して、MetaSymNet と MLP を比較しました。
結果は、MetaSymNet のネットワーク構造の複雑さが、同じ適合度の下では明らかに MLP よりも小さいことを示しています。

要約(オリジナル)

Mathematical formulas serve as the means of communication between humans and nature, encapsulating the operational laws governing natural phenomena. The concise formulation of these laws is a crucial objective in scientific research and an important challenge for artificial intelligence (AI). While traditional artificial neural networks (MLP) excel at data fitting, they often yield uninterpretable black box results that hinder our understanding of the relationship between variables x and predicted values y. Moreover, the fixed network architecture in MLP often gives rise to redundancy in both network structure and parameters. To address these issues, we propose MetaSymNet, a novel neural network that dynamically adjusts its structure in real-time, allowing for both expansion and contraction. This adaptive network employs the PANGU meta function as its activation function, which is a unique type capable of evolving into various basic functions during training to compose mathematical formulas tailored to specific needs. We then evolve the neural network into a concise, interpretable mathematical expression. To evaluate MetaSymNet’s performance, we compare it with four state-of-the-art symbolic regression algorithms across more than 10 public datasets comprising 222 formulas. Our experimental results demonstrate that our algorithm outperforms others consistently regardless of noise presence or absence. Furthermore, we assess MetaSymNet against MLP and SVM regarding their fitting ability and extrapolation capability, these are two essential aspects of machine learning algorithms. The findings reveal that our algorithm excels in both areas. Finally, we compared MetaSymNet with MLP using iterative pruning in network structure complexity. The results show that MetaSymNet’s network structure complexity is obviously less than MLP under the same goodness of fit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google