Pre-training Language Models for Comparative Reasoning

要約

比較推論は、オブジェクト、概念、または実体を比較して結論を​​導くプロセスであり、基本的な認知能力を構成します。
この論文では、テキストに対する比較推論の能力を強化するために言語モデルを事前トレーニングするための新しいフレームワークを提案します。
比較推論を必要とする NLP タスクに対するアプローチはこれまでにもありましたが、手作業によるデータのラベル付けにコストがかかり、さまざまなタスクへの一般化が制限されているという問題がありました。
私たちのアプローチでは、構造化データと非構造化データの両方を活用して、テキストベースのエンティティ比較のためのスケーラブルなデータを収集する新しい方法を導入しています。
さらに、比較推論に関する 3 つの新しい目的を介して、事前トレーニング言語モデルのフレームワークを提示します。
比較質問応答、質問生成、要約などの下流タスクの評価では、事前トレーニング フレームワークが、特にリソースが少ない状況下で言語モデルの比較推論能力を大幅に向上させることが示されています。
この研究では、比較推論のための最初の統合ベンチマークもリリースされます。

要約(オリジナル)

Comparative reasoning is a process of comparing objects, concepts, or entities to draw conclusions, which constitutes a fundamental cognitive ability. In this paper, we propose a novel framework to pre-train language models for enhancing their abilities of comparative reasoning over texts. While there have been approaches for NLP tasks that require comparative reasoning, they suffer from costly manual data labeling and limited generalizability to different tasks. Our approach introduces a novel method of collecting scalable data for text-based entity comparison, which leverages both structured and unstructured data. Moreover, we present a framework of pre-training language models via three novel objectives on comparative reasoning. Evaluation on downstream tasks including comparative question answering, question generation, and summarization shows that our pre-training framework significantly improves the comparative reasoning abilities of language models, especially under low-resource conditions. This work also releases the first integrated benchmark for comparative reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google