Modeling Comparative Logical Relation with Contrastive Learning for Text Generation

要約

古典的な自然言語生成問題であるデータからテキストへの生成 (D2T) は、テーブルなどの構造化入力データに対して流暢な記述を生成することを目的としています。
既存の D2T 作品は主にエンティティ間の表面的な連想関係を記述することに焦点を当てており、日常生活で非常に一般的な、ある側面において A は B よりも優れており、対応する意見があるなど、深い比較論理関係は無視されています。
このペーパーでは、比較論理関係生成 (CLRG) という新しい D2T タスクを紹介します。
さらに、対照学習による特定の比較論理関係に従ったテキストを生成する比較論理 (CoLo) ベースのテキスト生成手法を提案します。
具体的には、まず、エンティティ、側面、意見におけるきめの細かい摂動によって、さまざまな肯定的サンプルと否定的サンプルを構築します。
次に、比較論理関係をより深く理解するためにエンコーダー層で対比学習を実行し、それをデコーダー層に統合してモデルが関係を正しく生成できるように導きます。
データ不足の問題に注目して、中国比較論理関係データセット (CLRD) を構築します。これは人間による注釈が付けられた高品質のデータセットであり、複数のエンティティの説明とそれらの比較論理関係に関する注釈を含むテキスト生成が困難です。
広範な実験により、私たちの方法が自動評価と人間による評価の両方で優れたパフォーマンスを達成することが示されています。

要約(オリジナル)

Data-to-Text Generation (D2T), a classic natural language generation problem, aims at producing fluent descriptions for structured input data, such as a table. Existing D2T works mainly focus on describing the superficial associative relations among entities, while ignoring the deep comparative logical relations, such as A is better than B in a certain aspect with a corresponding opinion, which is quite common in our daily life. In this paper, we introduce a new D2T task named comparative logical relation generation (CLRG). Additionally, we propose a Comparative Logic (CoLo) based text generation method, which generates texts following specific comparative logical relations with contrastive learning. Specifically, we first construct various positive and negative samples by fine-grained perturbations in entities, aspects and opinions. Then, we perform contrastive learning in the encoder layer to have a better understanding of the comparative logical relations, and integrate it in the decoder layer to guide the model to correctly generate the relations. Noting the data scarcity problem, we construct a Chinese Comparative Logical Relation Dataset (CLRD), which is a high-quality human-annotated dataset and challenging for text generation with descriptions of multiple entities and annotations on their comparative logical relations. Extensive experiments show that our method achieves impressive performance in both automatic and human evaluations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google