Personalized Dialogue Generation with Persona-Adaptive Attention

要約

ペルソナベースの対話システムは、歴史的背景と事前定義されたペルソナに基づいて一貫した応答を生成することを目的としています。
従来の対話生成とは異なり、ペルソナベースの対話では対話のコンテキストとペルソナの両方を考慮する必要があり、一貫したトレーニングに課題が生じています。
具体的には、これにはコンテキストとペルソナの間の微妙なバランスが必要です。
それを達成するために、この論文では、ペルソナ適応型注意 (PAA) を備えた効果的なフレームワークを提案します。これは、設計された注意を介してペルソナとコンテキスト情報からの重みを適応的に統合します。
さらに、動的なマスキング メカニズムが PAA に適用され、コンテキストやペルソナ内の冗長な情報を削除するだけでなく、過剰適合を回避するための正則化メカニズムとしても機能します。
実験結果は、自動評価と人間による評価の両方において、強力なベースラインと比較して、提案された PAA フレームワークの優位性を示しています。
さらに、提案された PAA アプローチは、フルデータ設定でトレーニングされたモデルと比較して、低リソース領域でも同等のパフォーマンスを発揮できます。フルデータ設定でトレーニングされた大規模なモデルと比較して、わずか 20% ～ 30% のデータで同様の結果が得られます。
-データ設定。
設計の有効性を最大限に活用するために、重み付けされた情報をさまざまな方法で処理するためのいくつかのバリエーションを設計し、重み付けおよびマスキング設計の必要性と十分性を示しました。

要約(オリジナル)

Persona-based dialogue systems aim to generate consistent responses based on historical context and predefined persona. Unlike conventional dialogue generation, the persona-based dialogue needs to consider both dialogue context and persona, posing a challenge for coherent training. Specifically, this requires a delicate weight balance between context and persona. To achieve that, in this paper, we propose an effective framework with Persona-Adaptive Attention (PAA), which adaptively integrates the weights from the persona and context information via our designed attention. In addition, a dynamic masking mechanism is applied to the PAA to not only drop redundant information in context and persona but also serve as a regularization mechanism to avoid overfitting. Experimental results demonstrate the superiority of the proposed PAA framework compared to the strong baselines in both automatic and human evaluation. Moreover, the proposed PAA approach can perform equivalently well in a low-resource regime compared to models trained in a full-data setting, which achieve a similar result with only 20% to 30% of data compared to the larger models trained in the full-data setting. To fully exploit the effectiveness of our design, we designed several variants for handling the weighted information in different ways, showing the necessity and sufficiency of our weighting and masking designs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google