Speaker Verification in Agent-Generated Conversations

要約

大規模言語モデル (LLM) の最近の成功により、さまざまな話者の特性やスタイルに合わせてパーソナライズされたロールプレイング型会話エージェントの開発に広く関心が集まっており、一般的な対話タスクと特殊な目的の対話タスクの両方を実行する能力を強化しています。
ただし、人間によって行われるか LLM によって行われるかにかかわらず、生成された発話を話者に合わせてカスタマイズする機能については十分に研究されていません。
このギャップを埋めるために、私たちの研究では、エージェントが生成した会話における話者検証という新しい評価課題を導入しています。これは、2 つの発話セットが同じ話者からのものであるかどうかを検証することを目的としています。
この目的を達成するために、私たちは何千人もの話者とその発話を含む大規模なデータセット コレクションを組み立てます。
また、実験環境下での話者検証モデルの開発と評価も行っています。
さらに話者検証モデルを利用して、LLM ベースのロールプレイング モデルのパーソナライゼーション能力を評価します。
包括的な実験によると、現在のロールプレイング モデルは、主に固有の言語特性により、話者を正確に模倣することができません。

要約(オリジナル)

The recent success of large language models (LLMs) has attracted widespread interest to develop role-playing conversational agents personalized to the characteristics and styles of different speakers to enhance their abilities to perform both general and special purpose dialogue tasks. However, the ability to personalize the generated utterances to speakers, whether conducted by human or LLM, has not been well studied. To bridge this gap, our study introduces a novel evaluation challenge: speaker verification in agent-generated conversations, which aimed to verify whether two sets of utterances originate from the same speaker. To this end, we assemble a large dataset collection encompassing thousands of speakers and their utterances. We also develop and evaluate speaker verification models under experiment setups. We further utilize the speaker verification models to evaluate the personalization abilities of LLM-based role-playing models. Comprehensive experiments suggest that the current role-playing models fail in accurately mimicking speakers, primarily due to their inherent linguistic characteristics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google