In Context Learning and Reasoning for Symbolic Regression with Large Language Models

要約

大規模な言語モデル（LLMS）は、トランスベースの機械学習モデルであり、明示的に訓練されていないタスクで顕著なパフォーマンスを示しています。
ここでは、LLMSがシンボリック回帰を実行する可能性を調査します。これは、データセットからシンプルで正確な方程式を見つけるための機械学習方法です。
GPT-4に、データからの式を提案するように促します。データは、外部Pythonツールを使用して最適化および評価されます。
これらの結果はGPT-4に供給され、複雑さと損失を最適化しながら、改善された表現を提案しています。
チェーンオブサブのプロンプトを使用して、GPT-4に、新しい表現を生成する前に、各問題についてデータ、以前の表現、および科学的文脈（自然言語で表現）を分析するよう指示します。
実験データからの5つのよく知られた科学方程式の再発見でワークフローを評価し、既知の方程式のない追加のデータセットで評価しました。
GPT-4は、5つの方程式すべてを再発見し、一般に、スクラッチパッドを使用して科学的コンテキストを検討するように促されると、より良くパフォーマンスを発揮しました。
戦略的プロンプトがモデルのパフォーマンスを改善する方法と、自然言語インターフェイスが理論とデータと統合の統合をどのように単純化するかを示します。
また、理論が騒々しいデータを時々相殺することができることを観察し、他のケースでは、データが貧弱なコンテキストを補うことができます。
このアプローチは、ターゲット方程式がより複雑な確立されたSRプログラムを上回ることはありませんが、それでもLLMは、指示に従って科学的文脈を自然言語に組み込む一方で、改善されたソリューションに向けて反復することができます。

要約(オリジナル)

Large Language Models (LLMs) are transformer-based machine learning models that have shown remarkable performance in tasks for which they were not explicitly trained. Here, we explore the potential of LLMs to perform symbolic regression — a machine-learning method for finding simple and accurate equations from datasets. We prompt GPT-4 to suggest expressions from data, which are then optimized and evaluated using external Python tools. These results are fed back to GPT-4, which proposes improved expressions while optimizing for complexity and loss. Using chain-of-thought prompting, we instruct GPT-4 to analyze the data, prior expressions, and the scientific context (expressed in natural language) for each problem before generating new expressions. We evaluated the workflow in rediscovery of five well-known scientific equations from experimental data, and on an additional dataset without a known equation. GPT-4 successfully rediscovered all five equations, and in general, performed better when prompted to use a scratchpad and consider scientific context. We demonstrate how strategic prompting improves the model’s performance and how the natural language interface simplifies integrating theory with data. We also observe how theory can sometimes offset noisy data and, in other cases, data can make up for poor context. Although this approach does not outperform established SR programs where target equations are more complex, LLMs can nonetheless iterate toward improved solutions while following instructions and incorporating scientific context in natural language.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google