PROPRES: Investigating the Projectivity of Presupposition with Various Triggers and Environments

要約

発話の前提（話者が当然と考える情報）が含意などの他の語用論的推論と異なるのは、射影性です（たとえば、少年が涙を流すのを止めなかった否定文は、少年が以前に涙を流したことが前提となっています）。
。
射影性は前提となるトリガーや環境の組み合わせによって異なる場合があります。
しかし、これまでの自然言語理解研究では、人間のベースラインを使用していないか、モデルのパフォーマンスを評価するための含意キャンセル環境として否定のみが含まれているため、それが考慮されていません。
現在の研究では、これらの問題を調整しようとしています。
新しいデータセットである前提の射影性 (PROPRES) を導入します。これには、5 つの環境で語彙の多様性が含まれる 6 つのトリガーを横断する 12,000 個の前提と仮説のペアが含まれています。人間による評価では、人間が場合によっては可変の射影性を示すことが明らかになりました。ただし、モデルの評価では、次のことが示されています。
私たちの調査結果は、語用論的推論に関する精査研究では、人間の判断のばらつきと言語項目の組み合わせに特別な注意を払う必要があることを示唆しています。

要約(オリジナル)

What makes a presupposition of an utterance — information taken for granted by its speaker — different from other pragmatic inferences such as an entailment is projectivity (e.g., the negative sentence the boy did not stop shedding tears presupposes the boy had shed tears before). The projectivity may vary depending on the combination of presupposition triggers and environments. However, prior natural language understanding studies fail to take it into account as they either use no human baseline or include only negation as an entailment-canceling environment to evaluate models’ performance. The current study attempts to reconcile these issues. We introduce a new dataset, projectivity of presupposition (PROPRES, which includes 12k premise-hypothesis pairs crossing six triggers involving some lexical variety with five environments. Our human evaluation reveals that humans exhibit variable projectivity in some cases. However, the model evaluation shows that the best-performed model, DeBERTa, does not fully capture it. Our findings suggest that probing studies on pragmatic inferences should take extra care of the human judgment variability and the combination of linguistic items.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google