Complex Reasoning over Logical Queries on Commonsense Knowledge Graphs

要約

イベントの常識的な推論には、イベント間の関係を推論する能力と、その関係の根底にある暗黙のコンテキストを推論する能力が必要です。
ただし、データが不足しているため、言語モデルが複雑なイベント間の相互作用を伴うコンテキストや質問に対する常識的な推論を生成する方法を学習することが困難になります。
この要求に対処するために、マルチホップ論理クエリ (イベント A と B の両方の結合効果や原因、またはイベント C の効果の効果など) をサンプリングすることによって作成された新しいデータセットである COM2 (COMplex COMmonsense) を紹介します。
既存のコモンセンス ナレッジ グラフ (CSKG) を使用し、手作りのルールと大規模な言語モデルを使用してそれらを多肢選択式の質問とテキスト生成の質問に言語化します。
私たちの実験では、COM2 でトレーニングされた言語モデルが複雑な推論能力の大幅な向上を示し、その結果、高価な人間による注釈を付けなくても、ドメイン内およびドメイン外の両方の質問応答および生成的常識推論のタスクにおけるゼロショット パフォーマンスが向上することがわかりました。

要約(オリジナル)

Event commonsense reasoning requires the ability to reason about the relationship between events, as well as infer implicit context underlying that relationship. However, data scarcity makes it challenging for language models to learn to generate commonsense inferences for contexts and questions involving interactions between complex events. To address this demand, we present COM2 (COMplex COMmonsense), a new dataset created by sampling multi-hop logical queries (e.g., the joint effect or cause of both event A and B, or the effect of the effect of event C) from an existing commonsense knowledge graph (CSKG), and verbalizing them using handcrafted rules and large language models into multiple-choice and text generation questions. Our experiments show that language models trained on COM2 exhibit significant improvements in complex reasoning ability, resulting in enhanced zero-shot performance in both in-domain and out-of-domain tasks for question answering and generative commonsense reasoning, without expensive human annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google