Using Large Language Model to Solve and Explain Physics Word Problems Approaching Human Level

要約

私たちの研究は、テキストで事前トレーニングされた大規模言語モデル (LLM) が純粋な数学の文章問題だけでなく、物理学の文章問題、つまり事前の物理知識に基づいた計算と推論によって解決される問題も解決できることを示しています。
私たちは、1000 を超える中学校の物理の文章題 (運動学、質量と密度、力学、熱、電気) を含む最初の物理文章題データセット PhysQA を収集し、注釈を付けています。
次に、OpenAI の GPT3.5 を使用してこれらの問題の答えを生成したところ、GPT3.5 はゼロショット学習では問題の 49.3%、少数ショット学習では 73.2% を自動的に解決できることがわかりました。
この結果は、類似の問題とその解答をプロンプトとして使用することで、LLM が人間のレベルに近い初等物理の文章問題を解決できることを示しています。
GPT3.5 は、問題を自動的に解決するだけでなく、問題によって調べられた知識やトピックを要約し、関連する説明を生成し、入力された問題に従って新しい物理文章題を合成することもできます。私たちの研究は、物理学を自動的に解決し、説明し、生成する最初の研究です。
複数の種類やシーンの文章問題を解くことで、許容できる最先端の精度が得られ、中等教育の分野で LLM がさらに応用できる可能性が示されました。

要約(オリジナル)

Our work demonstrates that large language model (LLM) pre-trained on texts can not only solve pure math word problems, but also physics word problems-problems to be solved by calculation and inference based on some prior physical knowledge. We collect and annotate the first physics word problem dataset-PhysQA, which contains over 1000 junior high school physics word problems (on Kinematics, Mass&Density, Mechanics, Heat, Electricity). Then we use OpenAI’ s GPT3.5 to generate the answer of these problems and found that GPT3.5 could automatically solve 49.3% of the problems on zero-shot learning and 73.2% on few-shot learning. This result show that by using similar problem and its answer as prompt, LLM could solve elementary physics word problems approaching human level. Besides automatically solving problems, GPT3.5 could also summarize the knowledge or topic examined by the problem, generate the relevant explanation, and synthesis new physics word problems according tothe input problems.Our work is the first research on automatically solving, explaining and generating physics word problems of multiple types and scenes, and we gain an acceptable and state-of-art accuracy, which demonstrates the potential of LLM’s further application in the field of secondary education.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google