Task-oriented Document-Grounded Dialog Systems by HLTPR@RWTH for DSTC9 and DSTC10

要約

タイトル：HLTPR@RWTHによるDSTC9およびDSTC10のタスク指向型文書に基づく対話システム

要約：
– この論文は、第9回および第10回の対話システム技術チャレンジ（DSTC9およびDSTC10）における文書に基づく対話タスクに対するHLTPR@RWTHの貢献をまとめたものである。
– 両方のイテレーションでのタスクには、現在のターンが知識の探求であるかを検出すること、関連する知識文書を選択すること、および選択された文書に基づいた応答を生成することが含まれる。
– DSTC9では、選択タスクをより効率的にするためのさまざまなアプローチを提案した。最良の方法である階層的選択は、元のベースラインと比較して結果を改善し、24倍の速度向上を実現した。
– DSTC10のイテレーションでは、文書に基づく対話システムを自動音声認識トランスクリプトでうまく機能させるように調整することが課題となった。したがって、モデルの堅牢性を高めるためのデータ拡張技術や、生成された応答のスタイルを対話に合わせて調整する方法を提案した。さらに、生成された応答の事実性を高めるためのノイズチャネルモデルも提案した。
– 以前の貢献をまとめるだけでなく、この論文では、自動評価メトリックが人間の判断と低い相関を示す可能性があるため、いくつかの小さな改善を報告する。

要約(オリジナル)

This paper summarizes our contributions to the document-grounded dialog tasks at the 9th and 10th Dialog System Technology Challenges (DSTC9 and DSTC10). In both iterations the task consists of three subtasks: first detect whether the current turn is knowledge seeking, second select a relevant knowledge document, and third generate a response grounded on the selected document. For DSTC9 we proposed different approaches to make the selection task more efficient. The best method, Hierarchical Selection, actually improves the results compared to the original baseline and gives a speedup of 24x. In the DSTC10 iteration of the task, the challenge was to adapt systems trained on written dialogs to perform well on noisy automatic speech recognition transcripts. Therefore, we proposed data augmentation techniques to increase the robustness of the models as well as methods to adapt the style of generated responses to fit well into the proceeding dialog. Additionally, we proposed a noisy channel model that allows for increasing the factuality of the generated responses. In addition to summarizing our previous contributions, in this work, we also report on a few small improvements and reconsider the automatic evaluation metrics for the generation task which have shown a low correlation to human judgments.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI