Multi-Action Dialog Policy Learning from Logged User Feedback

要約

ターンごとに複数のアトミック ダイアログ アクションを生成するマルチアクション ダイアログ ポリシーは、表現力豊かで効率的なシステム応答を提供するために、タスク指向のダイアログ システムに広く適用されています。
通常、既存のポリシー モデルは、ラベル付けされたマルチアクション ダイアログの例からアクションの組み合わせを模倣します。
データの制限により、目に見えないダイアログ フローに対してはあまり一般化されません。
実際のユーザーとユーザーシミュレーターからのサービス評価を外部監視信号として組み込むために、強化学習ベースの方法が提案されていますが、それらはまばらで信頼性の低いダイアログレベルの報酬に苦しんでいます。
この問題に対処するために、収集するのに費用対効果が高く、現実世界のシナリオに忠実な履歴予測 (つまり、ログに記録されたユーザー フィードバック) に対して受信した明示的および暗黙的なターン レベルのユーザー フィードバックを使用して、マルチアクション ダイアログ ポリシーの学習を改善することを検討します。
.
ログに記録されたユーザー フィードバックは、エージェントによって予測された特定の履歴ダイアログ アクションに限定された部分的なラベル フィードバックのみを提供するため、このタスクは困難です。
このようなフィードバック情報を十分に活用するために、BanditMatch を提案します。これは、半教師あり学習とバンディット学習のハイブリッド目標を使用して、フィードバックで強化された半教師あり学習の観点からタスクに対処します。
BanditMatch は、疑似ラベル付けメソッドを統合して、完全なラベル フィードバックを構築することにより、アクション スペースをより適切に探索します。
広範な実験により、当社の BanditMatch は、より簡潔で有益な応答を生成することにより、最先端の方法よりも優れていることが示されています。
このホワイト ペーパーのソース コードと付録は、https://github.com/ShuoZhangXJTU/BanditMatch から入手できます。

要約(オリジナル)

Multi-action dialog policy, which generates multiple atomic dialog actions per turn, has been widely applied in task-oriented dialog systems to provide expressive and efficient system responses. Existing policy models usually imitate action combinations from the labeled multi-action dialog examples. Due to data limitations, they generalize poorly toward unseen dialog flows. While reinforcement learning-based methods are proposed to incorporate the service ratings from real users and user simulators as external supervision signals, they suffer from sparse and less credible dialog-level rewards. To cope with this problem, we explore to improve multi-action dialog policy learning with explicit and implicit turn-level user feedback received for historical predictions (i.e., logged user feedback) that are cost-efficient to collect and faithful to real-world scenarios. The task is challenging since the logged user feedback provides only partial label feedback limited to the particular historical dialog actions predicted by the agent. To fully exploit such feedback information, we propose BanditMatch, which addresses the task from a feedback-enhanced semi-supervised learning perspective with a hybrid objective of semi-supervised learning and bandit learning. BanditMatch integrates pseudo-labeling methods to better explore the action space through constructing full label feedback. Extensive experiments show that our BanditMatch outperforms the state-of-the-art methods by generating more concise and informative responses. The source code and the appendix of this paper can be obtained from https://github.com/ShuoZhangXJTU/BanditMatch.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google