Improving the Robustness of Knowledge-Grounded Dialogue via Contrastive Learning

要約

知識に基づく対話 (KGD) は、与えられた対話コンテキストと外部知識 (\emph{例}、ナレッジ グラフ、KG) に基づいて有益な応答を生成する方法を学習します。
最近、大規模言語モデル (LLM) と事前トレーニング技術の出現により、知識に基づく対話に大きな成功がもたらされました。
しかし、実際のアプリケーションで KGD システムを構築する場合、直面するのは避けられない現実世界のさまざまなノイズがあります。
たとえば、対話のコンテキストには、スペルミスや略語などの混乱が含まれる場合があります。
さらに、KG は通常、不完全な問題を抱えており、誤った古い事実が含まれている可能性もあります。
このような現実世界のノイズは、KGD システムの堅牢性に課題をもたらし、現実世界でのアプリケーションの妨げとなります。
この論文では、KGD の堅牢性を向上させるためのエンティティベースの対照学習フレームワークを提案します。
具体的には、KGD サンプル内のエンティティ情報を利用して、意味論に無関係な摂動と意味論に関連した摂動をそれぞれ含む肯定的なサンプルと否定的なサンプルの両方を作成します。
対照的な学習フレームワークにより、KGD モデルがこれら 2 種類の摂動を確実に認識できるようになり、実際のアプリケーションで潜在的にノイズの多い入力に対して有益な応答が生成されます。
3 つのベンチマーク データセットでの実験結果は、私たちの手法が自動評価スコアの点で新しい最先端のパフォーマンスを達成していることを示し、その有効性と可能性を検証しています。
さらに、ノイズの多い設定とショット数の少ない設定の両方で、私たちの方法が比較モデルよりも優れた応答を生成できることを示します。

要約(オリジナル)

Knowledge-grounded dialogue (KGD) learns to generate an informative response based on a given dialogue context and external knowledge (\emph{e.g.}, knowledge graphs; KGs). Recently, the emergence of large language models (LLMs) and pre-training techniques has brought great success to knowledge-grounded dialogue. However, when building KGD systems in real applications, there are various real-world noises that are inevitable to face. For example, the dialogue context might involve perturbations such as misspellings and abbreviations. In addition, KGs typically suffer from incompletion and also might contain erroneous and outdated facts. Such real-world noises pose a challenge to the robustness of KGD systems and hinder their applications in the real world. In this paper, we propose an entity-based contrastive learning framework for improving the robustness of KGD. Specifically, we make use of the entity information in a KGD sample to create both its positive and negative samples which involve semantic-irrelevant and semantic-relevant perturbations, respectively. The contrastive learning framework ensures the KGD model is aware of these two types of perturbations, thus generating informative responses with the potentially noisy inputs in real applications. Experimental results on three benchmark datasets show that our method achieves new state-of-the-art performance in terms of automatic evaluation scores, verifying its effectiveness and potentiality. Furthermore, we show that our method can generate better responses than comparison models in both the noisy and the few-shot settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google