Which Factors Predict the Chat Experience of a Natural Language Generation Dialogue Service?

要約

タイトル：自然言語生成ダイアログサービスのチャット体験を予測する要因は何か？
要約：
– 本論文では、自然言語生成ダイアログシステムのチャット体験を予測する概念モデルを提案した。
– 120人の参加者を対象にPartial Least Squares Structural Equation Modeling (PLS-SEM)でモデルを評価し、R2 = 0.541を得た。
– モデルは、生成に使用するプロンプト、会話の結合性、感情と類似性、ユーザーが認識するダイアログエージェントの好感度など、様々な要因を考慮している。
– また、提案されたモデルの一部の効果をさらに探求した。その結果、ユーザーの好感度、会話の結合性・感情・類似性が、ユーザーのチャット体験の正の予測子であることがわかった。
– さらに、ユーザーは外向性、開放性、誠実性、協調性、非神経症性の特徴を持つダイアログエージェントを好む傾向があることがわかった。
– この研究を通じて、収集されたデータを使用して、自己調整型のダイアログシステムがモデルの要因を推測し、ユーザーのチャット体験をこれらの要因で予測し、プロンプトを調整して最適化することができる可能性がある。

要約(オリジナル)

In this paper, we proposed a conceptual model to predict the chat experience in a natural language generation dialog system. We evaluated the model with 120 participants with Partial Least Squares Structural Equation Modeling (PLS-SEM) and obtained an R-square (R2) with 0.541. The model considers various factors, including the prompts used for generation; coherence, sentiment, and similarity in the conversation; and users’ perceived dialog agents’ favorability. We then further explore the effectiveness of the subset of our proposed model. The results showed that users’ favorability and coherence, sentiment, and similarity in the dialogue are positive predictors of users’ chat experience. Moreover, we found users may prefer dialog agents with characteristics of Extroversion, Openness, Conscientiousness, Agreeableness, and Non-Neuroticism. Through our research, an adaptive dialog system might use collected data to infer factors in our model, predict the chat experience for users through these factors, and optimize it by adjusting prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI