要約
現在の対話研究は主にペア（二者間）での会話を研究しており、二人以上の話者が一緒に会話する日常的な状況には取り組んでいません。
この研究では、このより一般的なケースを研究するために、多者間の会話を収集および評価します。
私たちは LIGHT 環境を使用して地に足の着いた会話を構築し、各参加者にはロールプレイをするキャラクターが割り当てられます。
したがって、このような会話で 1 人以上の登場人物として機能する言語モデルの能力を評価します。
モデルには、ペアワイズトレーニングされたモデルに欠けていると思われる 2 つのスキルが必要です。(1) いつ話すかを決定できること。
(2) 複数の登場人物に基づいた一貫した発話を生成する。
新しいデータセットでトレーニングされたモデルを、ペアごとにトレーニングされた既存の対話モデル、および少数ショット プロンプトを備えた大規模な言語モデルと比較します。
私たちが一般公開する予定の新しいデータセット MultiLIGHT は、グループ設定に大幅な改善をもたらすことができることがわかりました。
要約(オリジナル)
Current dialogue research primarily studies pairwise (two-party) conversations, and does not address the everyday setting where more than two speakers converse together. In this work, we both collect and evaluate multi-party conversations to study this more general case. We use the LIGHT environment to construct grounded conversations, where each participant has an assigned character to role-play. We thus evaluate the ability of language models to act as one or more characters in such conversations. Models require two skills that pairwise-trained models appear to lack: (1) being able to decide when to talk; (2) producing coherent utterances grounded on multiple characters. We compare models trained on our new dataset to existing pairwise-trained dialogue models, as well as large language models with few-shot prompting. We find that our new dataset, MultiLIGHT, which we will publicly release, can help bring significant improvements in the group setting.
arxiv情報
| 著者 | Jimmy Wei,Kurt Shuster,Arthur Szlam,Jason Weston,Jack Urbanek,Mojtaba Komeili |
| 発行日 | 2023-06-07 14:53:55+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google