Few-Shot Structured Policy Learning for Multi-Domain and Multi-Task Dialogues

要約

強化学習は、タスク指向の対話で対話マネージャーをモデル化するために広く採用されています。
ただし、最先端の対話フレームワークによって提供されるユーザー シミュレーターは、人間の行動の大まかな近似にすぎません。
したがって、少数の人間の相互作用から学習する能力は、特にアクション スペースが大きいマルチドメインおよびマルチタスク環境では非常に重要です。
したがって、この種の環境で学習する場合、構造化されたポリシーを使用してサンプル効率を改善することを提案します。
また、人間とシミュレートされた専門家からの学習の影響も評価します。
テストしたさまざまなレベルの構造の中で、グラフ ニューラル ネットワーク (GNN) は、シミュレートされた専門家から学習した場合、わずか 50 回の対話で 80% を超える成功率に達し、顕著な優位性を示しています。
また、人間の専門家から学習した場合にも優位性を示しますが、パフォーマンスの低下が観察され、人間の戦略の多様性を捉えるのが難しい可能性があることを示しています。
したがって、対話フレームワークにおける人間のデータ、シミュレーター、自動評価器の間のギャップを埋めることに、将来の研究努力を集中することをお勧めします。

要約(オリジナル)

Reinforcement learning has been widely adopted to model dialogue managers in task-oriented dialogues. However, the user simulator provided by state-of-the-art dialogue frameworks are only rough approximations of human behaviour. The ability to learn from a small number of human interactions is hence crucial, especially on multi-domain and multi-task environments where the action space is large. We therefore propose to use structured policies to improve sample efficiency when learning on these kinds of environments. We also evaluate the impact of learning from human vs simulated experts. Among the different levels of structure that we tested, the graph neural networks (GNNs) show a remarkable superiority by reaching a success rate above 80% with only 50 dialogues, when learning from simulated experts. They also show superiority when learning from human experts, although a performance drop was observed, indicating a possible difficulty in capturing the variability of human strategies. We therefore suggest to concentrate future research efforts on bridging the gap between human data, simulators and automatic evaluators in dialogue frameworks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google