PaCo: Preconditions Attributed to Commonsense Knowledge

要約

人間は、常識的な知識という状況前提条件を使ってシームレスに推論することができます。
ガラスが割れたり、水が有毒でない限り、ガラスは飲料水として使用されることを私たちは理解しています。
最先端 (SOTA) 言語モデル (LM) は、常識的な知識の推論において優れたパフォーマンスを発揮しますが、状況の前提条件を理解しているかどうかは不明です。
このギャップに対処するために、状況前提条件を使用した推論という新しい課題を提案します。
私たちは、自然言語で表現された常識的な記述の 12.4,000 個の前提条件から構成される PaCo と呼ばれるデータセットを収集します。
このデータセットに基づいて、3 つの標準評価タスクを作成し、それらを使用して、状況の前提条件を理解する既存の LM の能力を検査します。
私たちの結果は、タスクにおける機械と人間のパフォーマンスの間に 10 ～ 30% のギャップがあることを明らかにしており、前提条件を使って推論することが未解決の課題であることを示しています。

要約(オリジナル)

Humans can seamlessly reason with circumstantial preconditions of commonsense knowledge. We understand that a glass is used for drinking water, unless the glass is broken or the water is toxic. Despite state-of-the-art (SOTA) language models’ (LMs) impressive performance on inferring commonsense knowledge, it is unclear whether they understand the circumstantial preconditions. To address this gap, we propose a novel challenge of reasoning with circumstantial preconditions. We collect a dataset, called PaCo, consisting of 12.4 thousand preconditions of commonsense statements expressed in natural language. Based on this dataset, we create three canonical evaluation tasks and use them to examine the capability of existing LMs to understand situational preconditions. Our results reveal a 10-30% gap between machine and human performance on our tasks, which shows that reasoning with preconditions is an open challenge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google