Mix-Initiative Response Generation with Dynamic Prefix Tuning

要約

混合イニシアティブは、会話の方向性を制御する重要な要素の 1 つとして機能します。
話し手にとって、受動的に応答するか、積極的に主導するかでは、かなり異なる応答が得られます。
ただし、ほとんどの対話システムは、さまざまな取り組みを区別することなく、全体的な応答生成モデルをトレーニングすることに重点を置いています。
これは、モデルがさまざまな取り組みを混乱させ、不適切な対応を生み出す相互汚染問題につながります。
さらに、イニシアチブのラベルに対して人による注釈を大量に取得するには、費用がかかる可能性があります。
この問題に対処するために、生成モデルからさまざまなイニシアチブを分離するための一般的なミックスイニシアティブ動的プレフィックス チューニング フレームワーク (IDPT) を提案します。このフレームワークは、監視された設定と監視されていない設定の両方でイニシアチブを認識するプレフィックスを学習します。
具体的には、IDPT はイニシアチブ要素をさまざまなプレフィックス パラメーターに分離し、アテンション メカニズムを使用して、生成を動的にガイドする際のイニシアチブの選択を調整します。
プレフィックス パラメーターは、正確なイニシアチブ予測と混合イニシアチブ応答生成に向けて調整できます。
2 つの公開対話データセットに対する広範な実験により、提案された IDPT が自動メトリクスと人間による評価の両方で以前のベースラインを上回るパフォーマンスを示すことが示されました。
また、操作されたイニシアチブで適切な応答を生成することもできます。

要約(オリジナル)

Mixed initiative serves as one of the key factors in controlling conversation directions. For a speaker, responding passively or leading proactively would result in rather different responses. However, most dialogue systems focus on training a holistic response generation model without any distinction among different initiatives. It leads to the cross-contamination problem, where the model confuses different initiatives and generates inappropriate responses. Moreover, obtaining plenty of human annotations for initiative labels can be expensive. To address this issue, we propose a general mix-Initiative Dynamic Prefix Tuning framework (IDPT) to decouple different initiatives from the generation model, which learns initiative-aware prefixes in both supervised and unsupervised settings. Specifically, IDPT decouples initiative factors into different prefix parameters and uses the attention mechanism to adjust the selection of initiatives in guiding generation dynamically. The prefix parameters can be tuned towards accurate initiative prediction as well as mix-initiative response generation. Extensive experiments on two public dialogue datasets show that the proposed IDPT outperforms previous baselines on both automatic metrics and human evaluations. It also manages to generate appropriate responses with manipulated initiatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google