Symbolic Regression with a Learned Concept Library

要約

我々は、データセットを最もよく説明するコンパクトなプログラム仮説を探索するタスクであるシンボリック回帰 (SR) の新しい方法を紹介します。
この問題は通常、遺伝的アルゴリズムを使用して解決されます。
抽象的なテキスト概念のライブラリを導入することで、そのような方法を強化できることを示します。
LaSR と呼ばれる私たちのアルゴリズムは、大規模言語モデル (LLM) に対するゼロショット クエリを使用して、既知のパフォーマンスの高い仮説に含まれる概念を発見して進化させます。
標準的な進化ステップと、発見された概念に基づいた LLM ガイド ステップ (ゼロショット LLM クエリを通じて取得) を組み合わせて使用​​して、新しい仮説を発見します。
仮説が発見されると、概念の抽象化と進化の新たなラウンドで仮説が使用されます。
人気の SR ベンチマークであるファインマン方程式と一連の合成タスクで LaSR を検証します。
これらのベンチマークでは、LaSR は深層学習と進化的アルゴリズムに基づくさまざまな最先端の SR アプローチよりも大幅に優れています。
さらに、LaSR を使用して LLM の新規かつ強力なスケーリング則を発見できることを示します。

要約(オリジナル)

We present a novel method for symbolic regression (SR), the task of searching for compact programmatic hypotheses that best explain a dataset. The problem is commonly solved using genetic algorithms; we show that we can enhance such methods by inducing a library of abstract textual concepts. Our algorithm, called LaSR, uses zero-shot queries to a large language model (LLM) to discover and evolve concepts occurring in known high-performing hypotheses. We discover new hypotheses using a mix of standard evolutionary steps and LLM-guided steps (obtained through zero-shot LLM queries) conditioned on discovered concepts. Once discovered, hypotheses are used in a new round of concept abstraction and evolution. We validate LaSR on the Feynman equations, a popular SR benchmark, as well as a set of synthetic tasks. On these benchmarks, LaSR substantially outperforms a variety of state-of-the-art SR approaches based on deep learning and evolutionary algorithms. Moreover, we show that LaSR can be used to discover a novel and powerful scaling law for LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google