In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery

要約

現在、最先端のシンボリック回帰 (SR) 手法は特殊なモデルを構築していますが、大規模言語モデル (LLM) のアプリケーションはほとんど未開発のままです。
この研究では、SR のタスクに LLM を利用する最初の包括的なフレームワークを紹介します。
我々は、LLM を使用して関数形式を繰り返し改良し、外部オプティマイザを使用してその係数を決定する SR 手法である、インコンテキスト シンボリック回帰 (ICSR) を提案します。
ICSR は、LLM の強力な数学的事前分布を活用して、観察結果に基づいて考えられる関数の初期セットを提案し、誤差に基づいて関数を改良します。
私たちの調査結果から、LLM は、特定のデータに適合するシンボリック方程式を首尾よく見つけ出すことができ、4 つの一般的なベンチマークにおける最良の SR ベースラインの全体的なパフォーマンスと一致またはそれを上回り、より優れた分布外一般化を備えたより単純な方程式を生成できることが明らかになりました。

要約(オリジナル)

State of the art Symbolic Regression (SR) methods currently build specialized models, while the application of Large Language Models (LLMs) remains largely unexplored. In this work, we introduce the first comprehensive framework that utilizes LLMs for the task of SR. We propose In-Context Symbolic Regression (ICSR), an SR method which iteratively refines a functional form with an LLM and determines its coefficients with an external optimizer. ICSR leverages LLMs’ strong mathematical prior both to propose an initial set of possible functions given the observations and to refine them based on their errors. Our findings reveal that LLMs are able to successfully find symbolic equations that fit the given data, matching or outperforming the overall performance of the best SR baselines on four popular benchmarks, while yielding simpler equations with better out of distribution generalization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google