LLM4ED: Large Language Models for Automatic Equation Discovery

要約

方程式の発見は、データから物理法則を直接抽出することを目的としており、極めて重要な研究領域として浮上しています。
記号数学に基づくこれまでの手法は大幅な進歩を遂げてきましたが、多くの場合、複雑なアルゴリズムの実装設計が必要になります。
この論文では、自然言語ベースのプロンプトを利用して、データから支配方程式を自動的にマイニングする際に大規模言語モデル (LLM) をガイドする新しいフレームワークを紹介します。
具体的には、まず LLM の生成機能を利用して文字列形式でさまざまな方程式を生成し、次に生成された方程式を観測に基づいて評価します。
最適化フェーズでは、生成された方程式を協調的に最適化する 2 つの交互に反復する戦略を提案します。
最初の戦略は、LLM をブラックボックス オプティマイザーとして使用し、過去のサンプルとそのパフォーマンスに基づいて方程式の自己改善を実現することです。
2 番目の戦略は、LLM にグローバル検索の進化的演算子を実行するよう指示することです。
実験は偏微分方程式と常微分方程式の両方について広範囲に行われます。
結果は、私たちのフレームワークがさまざまな非線形動的システムの下で基礎となる物理法則を明らかにするための効果的な方程式を発見できることを示しています。
さらに最先端のモデルとの比較も行われ、優れた安定性と使いやすさが実証されています。
私たちのフレームワークは、方程式発見テクニックの学習と適用に対する障壁を大幅に下げ、知識発見の分野における LLM の応用可能性を示しています。

要約(オリジナル)

Equation discovery is aimed at directly extracting physical laws from data and has emerged as a pivotal research domain. Previous methods based on symbolic mathematics have achieved substantial advancements, but often require the design of implementation of complex algorithms. In this paper, we introduce a new framework that utilizes natural language-based prompts to guide large language models (LLMs) in automatically mining governing equations from data. Specifically, we first utilize the generation capability of LLMs to generate diverse equations in string form, and then evaluate the generated equations based on observations. In the optimization phase, we propose two alternately iterated strategies to optimize generated equations collaboratively. The first strategy is to take LLMs as a black-box optimizer and achieve equation self-improvement based on historical samples and their performance. The second strategy is to instruct LLMs to perform evolutionary operators for global search. Experiments are extensively conducted on both partial differential equations and ordinary differential equations. Results demonstrate that our framework can discover effective equations to reveal the underlying physical laws under various nonlinear dynamic systems. Further comparisons are made with state-of-the-art models, demonstrating good stability and usability. Our framework substantially lowers the barriers to learning and applying equation discovery techniques, demonstrating the application potential of LLMs in the field of knowledge discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google