Asking the Right Question at the Right Time: Human and Model Uncertainty Guidance to Ask Clarification Questions

要約

説明のための質問は、言語使用における誤解、曖昧さ、仕様不足を知らせる重要な対話ツールです。
人間は幼い頃から質問することで不確実性を解決できますが、現代の対話システムは効果的な質問を生み出すのに苦労しています。
この方向に前進するために、この研究では、共同対話タスクをテストベッドとして取り上げ、モデルの不確実性が人間の不確実性とどのように関係するかを研究します。これはまだ調査が進んでいない問題です。
我々は、モデルの不確実性が人間の明確化を求める行動を反映していないことを示し、これは、いつ質問するかを決定するための監督として人間の明確化の質問を使用することは、モデルの不確実性を解決する最も効果的な方法ではない可能性があることを示唆しています。
この問題に対処するために、モデルの不確実性の推定に基づいて明確化の質問を生成するアプローチを提案し、それをいくつかの代替案と比較し、それがタスクの成功に関して大幅な改善につながることを示します。
私たちの調査結果は、対話システム自体の不確実性を評価し、対話の中で活用する能力を対話システムに装備することの重要性を強調しています。

要約(オリジナル)

Clarification questions are an essential dialogue tool to signal misunderstanding, ambiguities, and under-specification in language use. While humans are able to resolve uncertainty by asking questions since childhood, modern dialogue systems struggle to generate effective questions. To make progress in this direction, in this work we take a collaborative dialogue task as a testbed and study how model uncertainty relates to human uncertainty — an as yet under-explored problem. We show that model uncertainty does not mirror human clarification-seeking behavior, which suggests that using human clarification questions as supervision for deciding when to ask may not be the most effective way to resolve model uncertainty. To address this issue, we propose an approach to generating clarification questions based on model uncertainty estimation, compare it to several alternatives, and show that it leads to significant improvements in terms of task success. Our findings highlight the importance of equipping dialogue systems with the ability to assess their own uncertainty and exploit in interaction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google