FEABench: Evaluating Language Models on Multiphysics Reasoning Ability

要約

現実世界の正確なシミュレーションを構築し、定量的問題に答えるために数値ソルバーを呼び出すことは、工学と科学において重要な要件です。
Feabenchは、有限要素分析（FEA）を使用して物理学、数学、工学の問題をシミュレートおよび解決するための大規模な言語モデル（LLMS）およびLLMエージェントの能力を評価するベンチマークである。
自然言語の問題の説明を推論し、comsol Multiphysics $^\ circledR $（FEAソフトウェア）を操作して回答を計算することにより、LLMSがこれらの問題を解決する能力を調査する包括的な評価スキームを導入します。
さらに、アプリケーションプログラミングインターフェイス（API）を介してソフトウェアと対話する機能を備えた言語モデルエージェントを設計し、その出力を調べ、ツールを使用して複数の反復にわたってソリューションを改善します。
当社の最高のパフォーマンス戦略は、実行可能なAPIコールを88％の時間で生成します。
FEAソフトウェアと正常に対話して操作して、ベンチマークの問題を解決できるLLMは、エンジニアリングの自動化のフロンティアを押し進めるでしょう。
この機能を獲得すると、数値ソルバーの精度でLLMSの推論スキルを強化し、現実の世界で複雑な問題に取り組むことができる自律システムの開発を進めます。
コードはhttps://github.com/google/feabenchで入手できます

要約(オリジナル)

Building precise simulations of the real world and invoking numerical solvers to answer quantitative problems is an essential requirement in engineering and science. We present FEABench, a benchmark to evaluate the ability of large language models (LLMs) and LLM agents to simulate and solve physics, mathematics and engineering problems using finite element analysis (FEA). We introduce a comprehensive evaluation scheme to investigate the ability of LLMs to solve these problems end-to-end by reasoning over natural language problem descriptions and operating COMSOL Multiphysics$^\circledR$, an FEA software, to compute the answers. We additionally design a language model agent equipped with the ability to interact with the software through its Application Programming Interface (API), examine its outputs and use tools to improve its solutions over multiple iterations. Our best performing strategy generates executable API calls 88% of the time. LLMs that can successfully interact with and operate FEA software to solve problems such as those in our benchmark would push the frontiers of automation in engineering. Acquiring this capability would augment LLMs’ reasoning skills with the precision of numerical solvers and advance the development of autonomous systems that can tackle complex problems in the real world. The code is available at https://github.com/google/feabench

arxiv情報

提供元, 利用サービス

arxiv.jp, Google