Exploring Factual Entailment with NLI: A News Media Study

要約

私たちは、\textit{textual} 含意ではなく \textit{factual} をモデル化する新しい注釈スキームである FactRel を導入することで、事実性と自然言語推論 (NLI) の関係を調査します。
ニュース記事。
私たちの分析では、事実を裏付けるペアの 84% と事実を損なうペアの 63\% が、それぞれ NLI 含意または矛盾に該当しないことが示されており、事実関係がメディアの言説を分析するのに適していることを示唆しています。
新しいデータセットでペアワイズ分類のモデルを実験したところ、場合によっては、アノテーション付きデータセットに基づいて GPT-4 で合成データを生成するとパフォーマンスが向上することがわかりました。
驚くべきことに、GPT-4 を使用した少数ショット学習では、ラベル付きデータセットでトレーニングされた中程度の LM (DeBERTa) と同等の強力な結果が得られます。
これらの結果は、このタスクが世界の知識と高度な推論能力の両方に基本的に依存していることを示していると仮説を立てます。

要約(オリジナル)

We explore the relationship between factuality and Natural Language Inference (NLI) by introducing FactRel — a novel annotation scheme that models \textit{factual} rather than \textit{textual} entailment, and use it to annotate a dataset of naturally occurring sentences from news articles. Our analysis shows that 84\% of factually supporting pairs and 63\% of factually undermining pairs do not amount to NLI entailment or contradiction, respectively, suggesting that factual relationships are more apt for analyzing media discourse. We experiment with models for pairwise classification on the new dataset, and find that in some cases, generating synthetic data with GPT-4 on the basis of the annotated dataset can improve performance. Surprisingly, few-shot learning with GPT-4 yields strong results on par with medium LMs (DeBERTa) trained on the labelled dataset. We hypothesize that these results indicate the fundamental dependence of this task on both world knowledge and advanced reasoning abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google