Pragmatic Reasoning Unlocks Quantifier Semantics for Foundation Models

要約

一般化された数量詞 (例: 少数、ほとんど) は、述語が満たされる割合を示すために使用されます (例: 一部のリンゴは赤い)。
数量詞のセマンティクスを解釈する 1 つの方法は、これらの満足度をパーセンテージ スコープで明示的にバインドすることです (たとえば、リンゴの 30% ～ 40% が赤い)。
このアプローチは、論理の形式化や表面形式の定量的推論などのタスクに役立ちます (Gordon and Schubert, 2010; Roy et al., 2015)。
ただし、最近の基礎モデルには直接のトレーニング信号がないため、この機能があるかどうかは不明のままです。
これを調査するために、パーセンテージを備えた述語を特徴とするウィキペディアの文に人間が注釈を付けた一般化数量詞のクラウドソース データセットである QuRe を紹介します。
私たちは、自然言語推論と Rational Speech Acts フレームワークを組み合わせたフレームワークである PRESQUE を使用して、言語モデルにおける量指定子の理解を調査します。
HVD データセットと QuRe の実験結果は、追加のトレーニングを必要とせずに、量指定子のパーセンテージ スコープを予測する際に、実用的な推論を採用した PRESQUE がリテラル推論のベースラインよりも 20% 優れたパフォーマンスを発揮することを示しています。

要約(オリジナル)

Generalized quantifiers (e.g., few, most) are used to indicate the proportions predicates are satisfied (for example, some apples are red). One way to interpret quantifier semantics is to explicitly bind these satisfactions with percentage scopes (e.g., 30%-40% of apples are red). This approach can be helpful for tasks like logic formalization and surface-form quantitative reasoning (Gordon and Schubert, 2010; Roy et al., 2015). However, it remains unclear if recent foundation models possess this ability, as they lack direct training signals. To explore this, we introduce QuRe, a crowd-sourced dataset of human-annotated generalized quantifiers in Wikipedia sentences featuring percentage-equipped predicates. We explore quantifier comprehension in language models using PRESQUE, a framework that combines natural language inference and the Rational Speech Acts framework. Experimental results on the HVD dataset and QuRe illustrate that PRESQUE, employing pragmatic reasoning, performs 20% better than a literal reasoning baseline when predicting quantifier percentage scopes, with no additional training required.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google