Pragmatic inference of scalar implicature by LLMs

要約

この研究では、大規模言語モデル (LLM)、特に BERT (Devlin et al., 2019) と GPT-2 (Radford et al., 2019) が、いくつかのようなスカラー含意の語用論的推論にどのように関与するかを調査します。
実験方法としてコサイン類似度と次の文/トークン予測を使用して 2 セットの実験を実行しました。
実験 1 の結果は、どちらのモデルも、文脈がない場合には一部を語用論的な含意として解釈するわけではなく、人間の言語処理と一致していることを示しました。
実験 2 では、Question Under Discussion (QUD) が文脈上の手がかりとして提示され、BERT は QUD の種類に関係なく一貫したパフォーマンスを示しましたが、GPT-2 は、特定の種類の QUD が含意に対して語用論的な推論を必要としたため、処理の困難に直面しました。
この調査結果は、理論的アプローチの観点から、BERT がデフォルト モデルに準拠し、一部という用語の中にすべてではなく実際的な含意を本質的に組み込んでいることを明らかにしました (Levinson、2000)。
対照的に、GPT-2 は、コンテキスト駆動モデルと一致して、コンテキスト内で語用論的な含意を推論する際に処理の困難に直面しているようです (Sperber および Wilson、2002)。

要約(オリジナル)

This study investigates how Large Language Models (LLMs), particularly BERT (Devlin et al., 2019) and GPT-2 (Radford et al., 2019), engage in pragmatic inference of scalar implicature, such as some. Two sets of experiments were conducted using cosine similarity and next sentence/token prediction as experimental methods. The results in experiment 1 showed that, both models interpret some as pragmatic implicature not all in the absence of context, aligning with human language processing. In experiment 2, in which Question Under Discussion (QUD) was presented as a contextual cue, BERT showed consistent performance regardless of types of QUDs, while GPT-2 encountered processing difficulties since a certain type of QUD required pragmatic inference for implicature. The findings revealed that, in terms of theoretical approaches, BERT inherently incorporates pragmatic implicature not all within the term some, adhering to Default model (Levinson, 2000). In contrast, GPT-2 seems to encounter processing difficulties in inferring pragmatic implicature within context, consistent with Context-driven model (Sperber and Wilson, 2002).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google