要約
説明リクエストは、コミュニケーションの問題の解決に役立つメカニズムです。
指示後のやり取りにおけるあいまいさまたは過小仕様が原因です。
その重要性にもかかわらず、熟練したモデルであっても、そのような修復行為を作成したり解釈したりするのは困難です。
この研究では、iCR ポリシーをモデル化する際に補助タスクとして実行されるアクションの効果に関する 3 つの仮説をテストします。
当初の予想に反して、iCR ポリシーの学習への寄与は限定的であるものの、予測の不確実性から依然として一部の情報を抽出できると結論付けています。
我々は、十分に動機付けられた Transformer ベースのモデルであっても、いつ命令 CR (iCR) を尋ねるかについての適切なポリシーを学習できない一方で、何を尋ねるべきかを決定するタスクはより適切にモデル化できるというさらなる証拠を提示します。
これらの発見の意味を考慮して、メタコミュニケーション行為を学習するためのデータ駆動型パラダイムの欠点についてさらに議論します。
要約(オリジナル)
Clarification requests are a mechanism to help solve communication problems, e.g. due to ambiguity or underspecification, in instruction-following interactions. Despite their importance, even skilful models struggle with producing or interpreting such repair acts. In this work, we test three hypotheses concerning the effects of action taking as an auxiliary task in modelling iCR policies. Contrary to initial expectations, we conclude that its contribution to learning an iCR policy is limited, but some information can still be extracted from prediction uncertainty. We present further evidence that even well-motivated, Transformer-based models fail to learn good policies for when to ask Instruction CRs (iCRs), while the task of determining what to ask about can be more successfully modelled. Considering the implications of these findings, we further discuss the shortcomings of the data-driven paradigm for learning meta-communication acts.
arxiv情報
| 著者 | Brielen Madureira,David Schlangen |
| 発行日 | 2024-01-30 14:18:31+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google