INSCIT: Information-Seeking Conversations with Mixed-Initiative Interactions

要約

情報を求める会話では、ユーザーは詳細が不明瞭であったり、答えられない質問をすることがあります。
理想的なエージェントは、利用可能な知識ソースに応じてさまざまな応答タイプを開始して対話します。
しかし、現在の研究のほとんどは、そのようなエージェント側の取り組みを失敗しているか、人為的に組み込んでいません。
この研究では、混合イニシアティブ インタラクションによる情報探索会話のためのデータセットである InSCIt を紹介します。
これには、エージェントが Wikipedia を検索して直接回答したり、説明を求めたり、ユーザーの質問に対処するための関連情報を提供したりする、805 件の人間同士の会話から得た 4.7K のユーザーとエージェントのやり取りが含まれています。
このデータは、証拠通過の識別と応答の生成という 2 つのサブタスクと、モデルのパフォーマンスを評価するための人による評価プロトコルをサポートします。
会話型知識の識別とオープンドメインの質問応答の最先端モデルに基づく 2 つのシステムの結果を報告します。
どちらのシステムも人間のパフォーマンスを大幅に下回っており、今後の研究で改善の余地が十分にあることが示唆されています。

要約(オリジナル)

In an information-seeking conversation, a user may ask questions that are under-specified or unanswerable. An ideal agent would interact by initiating different response types according to the available knowledge sources. However, most current studies either fail to or artificially incorporate such agent-side initiative. This work presents InSCIt, a dataset for Information-Seeking Conversations with mixed-initiative Interactions. It contains 4.7K user-agent turns from 805 human-human conversations where the agent searches over Wikipedia and either directly answers, asks for clarification, or provides relevant information to address user queries. The data supports two subtasks, evidence passage identification and response generation, as well as a human evaluation protocol to assess model performance. We report results of two systems based on state-of-the-art models of conversational knowledge identification and open-domain question answering. Both systems significantly underperform humans, suggesting ample room for improvement in future studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google