Helpfulness and Fairness of Task-Oriented Dialogue Systems

要約

タイトル：タスク指向対話システムの役立ち度と公正性についての研究

要約：タスク指向対話システムは、ユーザーが特定の目標を達成するために役立つことを目的としています。よって、人間が役に立つと感じる方法は重要です。しかし、タスク指向対話システムの人間による役立ち度やその公正性の影響については、まだ十分に研究されていません。本論文では、役立ち度の計算方法について研究しました。まず、問い合わせに関連性があり、繋がっていて、情報提供が役に立つ場合、対話応答を正式に役に立つと定義しました。その後、人間による対話応答の役立ち度を学習して、自動的に応答の役立ち度を決定する分類器を構築しました。さらに、異なるユーザーの問い合わせに対する対話システムの役立ち度を使用して、対話システムの公正性を測定する提案をしました。最新の対話システムを用いた情報収集を行う3つのシナリオでの実験により、現存するシステムは、先進国の概念に関する質問よりも後進国に関連する質問に対して、役に立つ傾向があることが明らかになり、現在のタスク指向対話システムに潜在的な公正性の問題があることが発見されました。

要約(オリジナル)

Goal-oriented dialogue systems aim to help users achieve certain goals. Therefore, how humans perceive their helpfulness is important. However, neither the human-perceived helpfulness of goal-oriented dialogue systems nor its fairness implication has been well studied. In this paper, we study computational measurements of helpfulness. We first formally define a dialogue response as helpful if it is relevant & coherent, useful, and informative to a query. Then, we collect human annotations for the helpfulness of dialogue responses based on our definition and build a classifier to automatically determine the helpfulness of a response. We further propose to use the helpfulness level of a dialogue system towards different user queries to measure the fairness of a dialogue system. Experiments with state-of-the-art dialogue systems under three information-seeking scenarios reveal that existing systems tend to be more helpful for questions regarding concepts from highly-developed countries than less-developed countries, uncovering potential fairness concerns underlying the current goal-oriented dialogue systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI