PhysNLU: A Language Resource for Evaluating Natural Language Understanding and Explanation Coherence in Physics

要約

言語モデルが物理学研究を支援するためには、まず、文の順序や関連性が正しく、首尾一貫した説明につながる数学的・自然言語的な談話の表現を符号化する必要があります。我々は、この点に関する言語モデルの性能を評価するために開発されたデータセットのコレクションを紹介し、文の順序、位置、セクションの予測、談話の一貫性に関して能力を測定する。データの分析により、物理学の言説で最も一般的な方程式とサブディシプリン、および方程式と表現の文レベルの頻度が明らかになった。我々は、数学的な自然言語目標で訓練した場合でも、物理学の一貫性に関連するタスクで、現代の言語モデルがいかに困難であるかを示すベースラインを提示する。

要約(オリジナル)

In order for language models to aid physics research, they must first encode representations of mathematical and natural language discourse which lead to coherent explanations, with correct ordering and relevance of statements. We present a collection of datasets developed to evaluate the performance of language models in this regard, which measure capabilities with respect to sentence ordering, position, section prediction, and discourse coherence. Analysis of the data reveals equations and sub-disciplines which are most common in physics discourse, as well as the sentence-level frequency of equations and expressions. We present baselines that demonstrate how contemporary language models are challenged by coherence related tasks in physics, even when trained on mathematical natural language objectives.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL