Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation

要約

対照的な学習は、「露出バイアス」の問題を軽視し、異なるリファレンスの質を差別的に活用するために、世代のタスクで印象的な成功を達成しました。
既存の作品は、主に各単語の貢献を区別することなくインスタンスレベルでの対照的な学習に焦点を当てていますが、キーワードはテキストの要点であり、制約付きマッピング関係を支配しています。
したがって、この作業では、入力テキストでハイブリッド粒度セマンティックな意味を統合できる階層的な対照学習メカニズムを提案します。
具体的には、キーワード表現を繰り返し磨くために、正の陰性ペアの対照的な相関を介してキーワードグラフを最初に提案します。
次に、インスタンスレベルとキーワードレベル内でコントラスト内を構築し、単語が文の分布からサンプリングされたノードであると仮定します。
最後に、独立したコントラストレベル間のギャップを埋め、一般的なコントラストの消失問題に取り組むために、インスタンス分布にそれぞれ対照的なキーワードノード間の矛盾を測定するコントラスト間メカニズムを提案します。
実験は、私たちのモデルが、言い換え、対話の生成、ストーリーテリングのタスクに関する競争力のあるベースラインよりも優れていることを示しています。

要約(オリジナル)

Contrastive learning has achieved impressive success in generation tasks to militate the ‘exposure bias’ problem and discriminatively exploit the different quality of references. Existing works mostly focus on contrastive learning on the instance-level without discriminating the contribution of each word, while keywords are the gist of the text and dominant the constrained mapping relationships. Hence, in this work, we propose a hierarchical contrastive learning mechanism, which can unify hybrid granularities semantic meaning in the input text. Concretely, we first propose a keyword graph via contrastive correlations of positive-negative pairs to iteratively polish the keyword representations. Then, we construct intra-contrasts within instance-level and keyword-level, where we assume words are sampled nodes from a sentence distribution. Finally, to bridge the gap between independent contrast levels and tackle the common contrast vanishing problem, we propose an inter-contrast mechanism that measures the discrepancy between contrastive keyword nodes respectively to the instance distribution. Experiments demonstrate that our model outperforms competitive baselines on paraphrasing, dialogue generation, and storytelling tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google