Efficient Generator of Mathematical Expressions for Symbolic Regression

要約

階層構造を生成するための新しい変分オートエンコーダー HVAE に基づく記号回帰へのアプローチを提案します。
シンプルなアトミック ユニットと共有重みを組み合わせて、階層内の個々のノードを再帰的にエンコードおよびデコードします。
エンコードはボトムアップで実行され、デコードはトップダウンで実行されます。
HVAE は数式の小さなコーパスで効率的にトレーニングでき、式を滑らかな低次元潜在空間に正確にエンコードできることを経験的に示しています。
後者は、シンボリック回帰のタスクに対処するために、さまざまな最適化手法を使用して効率的に調べることができます。
実際、HVAE の潜在空間を介したランダム検索は、手動で作成された数式の確率文法によって生成された式を介したランダム検索よりも優れたパフォーマンスを発揮します。
最後に、進化的アルゴリズムを HVAE の潜在空間に適用する記号回帰用の EDHiE システムは、深層学習と進化的アルゴリズムの同様の組み合わせに基づく最先端のシステムよりも優れた、標準的な記号回帰ベンチマークから方程式を再構築します。
.\v{z}

要約(オリジナル)

We propose an approach to symbolic regression based on a novel variational autoencoder for generating hierarchical structures, HVAE. It combines simple atomic units with shared weights to recursively encode and decode the individual nodes in the hierarchy. Encoding is performed bottom-up and decoding top-down. We empirically show that HVAE can be trained efficiently with small corpora of mathematical expressions and can accurately encode expressions into a smooth low-dimensional latent space. The latter can be efficiently explored with various optimization methods to address the task of symbolic regression. Indeed, random search through the latent space of HVAE performs better than random search through expressions generated by manually crafted probabilistic grammars for mathematical expressions. Finally, EDHiE system for symbolic regression, which applies an evolutionary algorithm to the latent space of HVAE, reconstructs equations from a standard symbolic regression benchmark better than a state-of-the-art system based on a similar combination of deep learning and evolutionary algorithms.\v{z}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google