UniSymNet: A Unified Symbolic Network Guided by Transformer

要約

Symbolic Regression（SR）は、入力データから数学的式を自動的に発見するための強力な手法です。
主流のSRアルゴリズムは、広大な関数空間で最適なシンボリックツリーを検索しますが、ツリー構造の複雑さの増加により、パフォーマンスが制限されます。
ニューラルネットワークに触発された象徴的なネットワークは、有望な新しいパラダイムとして浮上しています。
ただし、ほとんどの既存のシンボリックネットワークは依然として特定の課題に直面しています：バイナリ非線形演算子$ \ {\ {\ div \} $は自然に多変量演算子に拡張することはできず、固定アーキテクチャでのトレーニングはしばしばより高い複雑さと過剰につながります。
この作業では、非線形バイナリ演算子をネストされたunary演算子に統合し、ユニサイムが複雑さを減らすことができる条件を定義する統一されたシンボリックネットワークを提案します。
さらに、構造選択を導くための新しいラベルエンコード方法を備えた変圧器モデルを事前に訓練し、シンボリックネットワークのパラメーターを学習するための客観的固有の最適化戦略を採用します。
Unisymnetは、高いフィッティング精度、優れたシンボリックソリューション率、および比較的低い発現の複雑さを示し、低次元の標準ベンチマークと高次元のSRBenchで競争力のあるパフォーマンスを達成します。

要約(オリジナル)

Symbolic Regression (SR) is a powerful technique for automatically discovering mathematical expressions from input data. Mainstream SR algorithms search for the optimal symbolic tree in a vast function space, but the increasing complexity of the tree structure limits their performance. Inspired by neural networks, symbolic networks have emerged as a promising new paradigm. However, most existing symbolic networks still face certain challenges: binary nonlinear operators $\{\times, \div\}$ cannot be naturally extended to multivariate operators, and training with fixed architecture often leads to higher complexity and overfitting. In this work, we propose a Unified Symbolic Network that unifies nonlinear binary operators into nested unary operators and define the conditions under which UniSymNet can reduce complexity. Moreover, we pre-train a Transformer model with a novel label encoding method to guide structural selection, and adopt objective-specific optimization strategies to learn the parameters of the symbolic network. UniSymNet shows high fitting accuracy, excellent symbolic solution rate, and relatively low expression complexity, achieving competitive performance on low-dimensional Standard Benchmarks and high-dimensional SRBench.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google