Penguins Don’t Fly: Reasoning about Generics through Instantiations and Exceptions

要約

ジェネリックは、普遍的に真ではない世界 (例: 鳥は空を飛べる) に関する一般化 (例: 生まれたての鳥やペンギンは空を飛べない) を表現します。
NLP で広く使用されている常識的な知識ベースは、いくつかの一般的な知識をエンコードしますが、そのような例外を列挙することはめったになく、一般的なステートメントがいつ成り立つか、または成り立たないかを知ることは、ジェネリックの包括的な理解を深めるために重要です。
ジェネリックが true または false を保持する特定のケースである手本を生成するために、言語理論に基づいた新しいフレームワークを提示します。
約 650 のジェネリックに対して約 19,000 の見本を生成し、フレームワークが強力な GPT-3 ベースラインよりも 12.8 精度ポイント優れていることを示しています。
私たちの分析は、手本を生成するための言語理論に基づく制御可能性の重要性、手本のソースとしての知識ベースの不十分さ、および手本が自然言語推論のタスクにもたらす課題を強調しています。

要約(オリジナル)

Generics express generalizations about the world (e.g., birds can fly) that are not universally true (e.g., newborn birds and penguins cannot fly). Commonsense knowledge bases, used extensively in NLP, encode some generic knowledge but rarely enumerate such exceptions and knowing when a generic statement holds or does not hold true is crucial for developing a comprehensive understanding of generics. We present a novel framework informed by linguistic theory to generate exemplars — specific cases when a generic holds true or false. We generate ~19k exemplars for ~650 generics and show that our framework outperforms a strong GPT-3 baseline by 12.8 precision points. Our analysis highlights the importance of linguistic theory-based controllability for generating exemplars, the insufficiency of knowledge bases as a source of exemplars, and the challenges exemplars pose for the task of natural language inference.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google