Generative Pre-Trained Transformer for Symbolic Regression Base In-Context Reinforcement Learning

要約

数式は自然を説明するための人間の言語であり、科学研究の本質です。
観察データから数式を見つけることは、科学研究の主要な要求であり、人工知能の主要な課題です。
この領域は記号回帰と呼ばれます。
元々、シンボリック回帰は、組み合わせ最適化問題として定式化され、GP または強化学習アルゴリズムを使用して解決されることがよくありました。
これら 2 種類のアルゴリズムは、強力なノイズ耐性と優れた汎用性を備えています。
ただし、通常、推論時間に時間がかかるため、探索効率は比較的低くなります。
その後、提案された大規模な事前トレーニング データに基づいて、このような方法では、多数の合成データ ポイントと式のペアを使用して生成事前トレーニング トランスフォーマー (GPT) をトレーニングします。
この GPT は結果を得るために 1 回の順伝播を実行するだけで済み、推論速度が非常に速いという利点があります。
ただし、そのパフォーマンスはトレーニング データに大きく依存し、トレーニング セット外のデータではパフォーマンスが低下するため、このような手法のノイズ耐性と汎用性が低くなります。
では、上記の 2 つのカテゴリの SR アルゴリズムの利点を組み合わせることはできるでしょうか?
この論文では、強化学習ベースの SR アルゴリズムの大規模なスパース報酬学習履歴をトレーニング データとして使用して GPT をトレーニングする \textbf{FormulaGPT} を提案します。
トレーニング後、強化学習に基づく SR アルゴリズムが Transformer に抽出されます。
新しいテストデータが来ると、FormulaGPT は「強化学習プロセス」を直接生成し、コンテキストに応じて学習ポリシーを自動的に更新します。
SRBench を含む 10 以上のデータセットでテストされた結果、formulaGPT は 4 つのベースラインと比較してフィッティング能力において最先端のパフォーマンスを達成しました。
さらに、ノイズ耐性、汎用性、推論効率において満足のいく結果が得られます。

要約(オリジナル)

The mathematical formula is the human language to describe nature and is the essence of scientific research. Finding mathematical formulas from observational data is a major demand of scientific research and a major challenge of artificial intelligence. This area is called symbolic regression. Originally symbolic regression was often formulated as a combinatorial optimization problem and solved using GP or reinforcement learning algorithms. These two kinds of algorithms have strong noise robustness ability and good Versatility. However, inference time usually takes a long time, so the search efficiency is relatively low. Later, based on large-scale pre-training data proposed, such methods use a large number of synthetic data points and expression pairs to train a Generative Pre-Trained Transformer(GPT). Then this GPT can only need to perform one forward propagation to obtain the results, the advantage is that the inference speed is very fast. However, its performance is very dependent on the training data and performs poorly on data outside the training set, which leads to poor noise robustness and Versatility of such methods. So, can we combine the advantages of the above two categories of SR algorithms? In this paper, we propose \textbf{FormulaGPT}, which trains a GPT using massive sparse reward learning histories of reinforcement learning-based SR algorithms as training data. After training, the SR algorithm based on reinforcement learning is distilled into a Transformer. When new test data comes, FormulaGPT can directly generate a ‘reinforcement learning process’ and automatically update the learning policy in context. Tested on more than ten datasets including SRBench, formulaGPT achieves the state-of-the-art performance in fitting ability compared with four baselines. In addition, it achieves satisfactory results in noise robustness, versatility, and inference efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google