CodePDE: An Inference Framework for LLM-driven PDE Solver Generation

要約

部分微分方程式（PDE）は、物理システムのモデリングの基本ですが、それらを解決することは依然として複雑な課題です。
従来の数値ソルバーは、実装するために専門知識に依存しており、計算上高価ですが、ニューラルネットワークベースのソルバーは大規模なトレーニングデータセットを必要とし、多くの場合解釈可能性がありません。
この作業では、PDEをコード生成タスクとしてフレーム化し、大規模な言語モデル（LLM）を使用してPDEソルバーを生成するための最初の推論フレームワークであるCodePDEを導入します。
高度な推論時間アルゴリズムとスケーリング戦略を活用して、CodePDEはPDE解決のためのLLMの重要な能力を解き放ちます：推論、デバッグ、自己補強、およびテスト時間スケーリング – すべてタスク固有のチューニングなし。
Codepdeは、さまざまな代表的なPDE問題にわたって超人的なパフォーマンスを達成します。
また、LLM生成ソルバーの体系的な経験的分析を提示し、その精度、効率、および数値スキームの選択を分析します。
私たちの調査結果は、PDE解決におけるLLMの約束と現在の制限を強調しており、ソルバーの設計と将来のモデル開発の機会に関する新しい視点を提供します。
私たちのコードは、https：//github.com/lithiumda/codepdeで入手できます。

要約(オリジナル)

Partial differential equations (PDEs) are fundamental to modeling physical systems, yet solving them remains a complex challenge. Traditional numerical solvers rely on expert knowledge to implement and are computationally expensive, while neural-network-based solvers require large training datasets and often lack interpretability. In this work, we frame PDE solving as a code generation task and introduce CodePDE, the first inference framework for generating PDE solvers using large language models (LLMs). Leveraging advanced inference-time algorithms and scaling strategies, CodePDE unlocks critical capacities of LLM for PDE solving: reasoning, debugging, selfrefinement, and test-time scaling — all without task-specific tuning. CodePDE achieves superhuman performance across a range of representative PDE problems. We also present a systematic empirical analysis of LLM generated solvers, analyzing their accuracy, efficiency, and numerical scheme choices. Our findings highlight the promise and the current limitations of LLMs in PDE solving, offering a new perspective on solver design and opportunities for future model development. Our code is available at https://github.com/LithiumDA/CodePDE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google