Experimental Pragmatics with Machines: Testing LLM Predictions for the Inferences of Plain and Embedded Disjunctions

要約

人間のコミュニケーションは、文章から導き出されるさまざまな推論に基づいており、多くの場合、文字通りの言葉を超えています。
含意、含意、前提の基本的な区別については広く合意されていますが、多くの推論のステータスについては依然として議論の余地があります。
この論文では、単純な論理和と埋め込まれた論理和の 3 つの推論に焦点を当て、それらを通常のスカラー含意と比較します。
私たちは、人間と同じ推論を調査する最近の研究と同じ実験パラダイムを使用して、最先端の大規模言語モデルの予測という新しい観点からこの比較を調査します。
私たちの最高のパフォーマンスを誇るモデルの結果は、推論と含意の間に見つかった大きな違いと、推論のさまざまな側面間のきめの細かい区別の両方において、人間の結果とほぼ一致しています。

要約(オリジナル)

Human communication is based on a variety of inferences that we draw from sentences, often going beyond what is literally said. While there is wide agreement on the basic distinction between entailment, implicature, and presupposition, the status of many inferences remains controversial. In this paper, we focus on three inferences of plain and embedded disjunctions, and compare them with regular scalar implicatures. We investigate this comparison from the novel perspective of the predictions of state-of-the-art large language models, using the same experimental paradigms as recent studies investigating the same inferences with humans. The results of our best performing models mostly align with those of humans, both in the large differences we find between those inferences and implicatures, as well as in fine-grained distinctions among different aspects of those inferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google