Instruction Clarification Requests in Multimodal Collaborative Dialogue Games: Tasks, and an Analysis of the CoDraw Dataset

要約

視覚的な指示に従う対話ゲームでは、プレーヤーは、世界のアクションに完全にマッピングできないあいまいな指示または指定不足の指示に直面して、修復メカニズムに取り組むことができます。
この作業では、CoDraw で命令説明要求 (iCR) に注釈を付けます。CoDraw は、マルチモーダルな共同対話ゲームにおける相互作用の既存のデータセットです。
タスクをうまく解決するために明確にすることを決定したプレーヤーによって自発的に生成される語彙的および意味的に多様な iCR が含まれていることを示します。
CoDraw-iCR (v1) は、9.9k の対話で 8.8k の iCR が見つかった大規模な自発的 iCR コーパスであり、対話における明確化に関するデータ駆動型の研究にとって貴重なリソースとなっています。
次に、2 つのタスクのベースライン モデルを形式化して提供します。これらのタスクがデータからどの程度学習可能かを調査するために、いつ iCR を作成し、どのように認識するかを決定します。

要約(オリジナル)

In visual instruction-following dialogue games, players can engage in repair mechanisms in face of an ambiguous or underspecified instruction that cannot be fully mapped to actions in the world. In this work, we annotate Instruction Clarification Requests (iCRs) in CoDraw, an existing dataset of interactions in a multimodal collaborative dialogue game. We show that it contains lexically and semantically diverse iCRs being produced self-motivatedly by players deciding to clarify in order to solve the task successfully. With 8.8k iCRs found in 9.9k dialogues, CoDraw-iCR (v1) is a large spontaneous iCR corpus, making it a valuable resource for data-driven research on clarification in dialogue. We then formalise and provide baseline models for two tasks: Determining when to make an iCR and how to recognise them, in order to investigate to what extent these tasks are learnable from data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google