Multi-Party Chat: Conversational Agents in Group Settings with Humans and Models

要約

タイトル： Multi-Party Chat： 人間とモデルを含むグループ設定での対話エージェント

要約：
– 現在の対話研究は主に2者間の会話を研究しており、2人より多くのスピーカーが同時に会話する日常の状況に対処していない。
– 著者らは、マルチパーティーの会話を収集して評価することで、より一般的な状況を研究した。
– LIGHT環境を使用して、各参加者に役割を割り当てた根拠に基づく会話を構築し、言語モデルがそのような会話の1つまたは複数のキャラクターとして行動する能力を評価する。
– モデルには、2つのスキルが必要である。1つ目は話すタイミングを決定できること、2つ目は複数のキャラクターに基づいて一貫性のある発話を生成できることである。
– この新しいデータセットにトレーニングされたモデルと、既存の2者間の対話モデル、さらにはfew-shot promisingを行う大規模な言語モデルを比較した。
– 著者らは、MultiLIGHTという新しいデータセットを公開し、グループ設定での大幅な改善をもたらすことができると結論づけた。

要約(オリジナル)

Current dialogue research primarily studies pairwise (two-party) conversations, and does not address the everyday setting where more than two speakers converse together. In this work, we both collect and evaluate multi-party conversations to study this more general case. We use the LIGHT environment to construct grounded conversations, where each participant has an assigned character to role-play. We thus evaluate the ability of language models to act as one or more characters in such conversations. Models require two skills that pairwise-trained models appear to lack: (1) being able to decide when to talk; (2) producing coherent utterances grounded on multiple characters. We compare models trained on our new dataset to existing pairwise-trained dialogue models, as well as large language models with few-shot prompting. We find that our new dataset, MultiLIGHT, which we will publicly release, can help bring significant improvements in the group setting.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI