Quantum Many-Body Physics Calculations with Large Language Models

要約

大規模言語モデル (LLM) は、数学的および科学的推論を含む、複数のドメインで複雑なタスクを実行する前例のない能力を実証しました。
慎重に設計されたプロンプトを使用すると、LLM が理論物理学の研究論文で重要な計算を正確に実行できることを実証します。
私たちは、量子物理学で広く使用されている近似法であるハートリー・フォック法に焦点を当てます。これには、近似ハミルトニアンと対応する自己無撞着方程式を導き出す解析的な多段階計算が必要です。
LLM を使用して計算を実行するには、分析計算を問題固有の情報のプレースホルダーを含む標準化されたステップに分割するマルチステップ プロンプト テンプレートを設計します。
過去 10 年間の 15 件の研究論文の計算実行における GPT-4 のパフォーマンスを評価し、中間ステップの修正により、13 件の場合で最終的なハートリー-フォック ハミルトニアンを正確に導出でき、2 件の場合で軽微なエラーが発生することを実証しました。
すべての研究論文を集計すると、個々の計算ステップの実行に関する平均スコアは 87.5 (100 点中) でした。
全体として、これらの計算を行うために必要なスキルは、量子凝縮物質理論の大学院レベルにあります。
さらに、LLM を使用して、この評価プロセスにおける 2 つの主なボトルネック (i) テンプレートに記入するための書類からの情報の抽出、および (ii) 計算ステップの自動スコアリングを軽減し、どちらの場合でも良好な結果を示しています。
この強力なパフォーマンスは、前例のない規模で理論的仮説を自動的に探索するアルゴリズムを開発するための第一歩です。

要約(オリジナル)

Large language models (LLMs) have demonstrated an unprecedented ability to perform complex tasks in multiple domains, including mathematical and scientific reasoning. We demonstrate that with carefully designed prompts, LLMs can accurately carry out key calculations in research papers in theoretical physics. We focus on a broadly used approximation method in quantum physics: the Hartree-Fock method, requiring an analytic multi-step calculation deriving approximate Hamiltonian and corresponding self-consistency equations. To carry out the calculations using LLMs, we design multi-step prompt templates that break down the analytic calculation into standardized steps with placeholders for problem-specific information. We evaluate GPT-4’s performance in executing the calculation for 15 research papers from the past decade, demonstrating that, with correction of intermediate steps, it can correctly derive the final Hartree-Fock Hamiltonian in 13 cases and makes minor errors in 2 cases. Aggregating across all research papers, we find an average score of 87.5 (out of 100) on the execution of individual calculation steps. Overall, the requisite skill for doing these calculations is at the graduate level in quantum condensed matter theory. We further use LLMs to mitigate the two primary bottlenecks in this evaluation process: (i) extracting information from papers to fill in templates and (ii) automatic scoring of the calculation steps, demonstrating good results in both cases. The strong performance is the first step for developing algorithms that automatically explore theoretical hypotheses at an unprecedented scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google