Using Large Language Model to Solve and Explain Physics Word Problems Approaching Human Level

要約

私たちの研究は、テキストで事前トレーニングされた大規模言語モデル (LLM) が純粋な数学の文章問題だけでなく、事前の物理知識に基づいた計算と推論を必要とする物理の文章問題も解決できることを示しています。
私たちは、1000 を超える中学校物理の文章題 (運動学、質量と密度、力学、熱、電気を含む) を含む最初の物理文章題データセット PhysQA を収集し、注釈を付けています。
次に、OpenAI の GPT3.5 を使用してこれらの問題の答えを生成したところ、GPT3.5 はゼロショット学習を通じて問題の 49.3%、少数ショット学習を通じて 73.2% を自動的に解決できることがわかりました。
この結果は、同様の問題とその解答をプロンプトとして使用することで、LLM が人間レベルのパフォーマンスに近い初等物理学の文章問題を解決できることを示しています。
GPT3.5 は、問題を解くだけでなく、問題で扱われる知識やトピックを要約し、関連する説明を提供し、入力に基づいて新しい物理の文章問題を生成することもできます。
私たちの研究は、さまざまな種類やシナリオにわたる物理文章問題の自動解決、説明、生成に焦点を当てた最初の研究であり、許容できる最先端の精度を達成しています。
これは、LLM が中等教育でさらに応用できる可能性を強調しています。

要約(オリジナル)

Our work demonstrates that large language model (LLM) pre-trained on texts can not only solve pure math word problems, but also physics word problems, whose solution requires calculation and inference based on prior physical knowledge. We collect and annotate the first physics word problem dataset-PhysQA, which contains over 1000 junior high school physics word problems (covering Kinematics, Mass&Density, Mechanics, Heat, Electricity). Then we use OpenAI’ s GPT3.5 to generate the answer of these problems and found that GPT3.5 could automatically solve 49.3% of the problems through zero-shot learning and 73.2% through few-shot learning. This result demonstrates that by using similar problems and their answers as prompt, LLM could solve elementary physics word problems approaching human level performance. In addition to solving problems, GPT3.5 can also summarize the knowledge or topics covered by the problems, provide relevant explanations, and generate new physics word problems based on the input. Our work is the first research to focus on the automatic solving, explanation, and generation of physics word problems across various types and scenarios, and we achieve an acceptable and state-of-the-art accuracy. This underscores the potential of LLMs for further applications in secondary education.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google