Dialogue You Can Trust: Human and AI Perspectives on Generated Conversations

要約

対話システムとチャットボットが日常のやり取りにますます統合されるにつれて、効率的で正確な評価方法の必要性が最も重要になっています。
この研究では、一貫性、革新性、具体性、目標への貢献度、常識の矛盾、不正確な事実、冗長性の 7 つの主要業績評価指標 (KPI) に焦点を当て、さまざまな対話シナリオにわたる人間と AI の評価の比較パフォーマンスを調査しています。
GPT-4o API を利用して、会話の多様なデータセットを生成し、2 部構成の実験分析を実施しました。
実験 1 では、一貫性、イノベーション、具体性、目標への貢献に関する多者間の会話を評価し、GPT モデルが人間の判断と密接に一致していることを明らかにしました。
注目すべきことに、人間の評価者と AI の評価者は両方とも、線形スケーリングではなく二値的な判断を行う傾向を示しており、これらの評価における共通の課題が浮き彫りになっています。
実験 2 は、Finch らの研究を拡張したものです。
（2023）二者間の対話に焦点を当て、常識の矛盾、不正確な事実、および冗長性を評価することによって。
結果は、GPT-4o が事実の正確さと常識的な推論を維持する点では優れたパフォーマンスを示しているものの、冗長性と自己矛盾を減らすのに依然として苦労していることを示しています。
私たちの調査結果は、対話システムにおける人間の評価を厳密に再現する GPT モデルの可能性を強調すると同時に、改善の余地があることも示しています。
この研究は、より洗練された対話評価方法論の開発と実装を進めるための貴重な洞察を提供し、より効果的で人間に近い AI コミュニケーション ツールの進化に貢献します。

要約(オリジナル)

As dialogue systems and chatbots increasingly integrate into everyday interactions, the need for efficient and accurate evaluation methods becomes paramount. This study explores the comparative performance of human and AI assessments across a range of dialogue scenarios, focusing on seven key performance indicators (KPIs): Coherence, Innovation, Concreteness, Goal Contribution, Commonsense Contradiction, Incorrect Fact, and Redundancy. Utilizing the GPT-4o API, we generated a diverse dataset of conversations and conducted a two-part experimental analysis. In Experiment 1, we evaluated multi-party conversations on Coherence, Innovation, Concreteness, and Goal Contribution, revealing that GPT models align closely with human judgments. Notably, both human and AI evaluators exhibited a tendency towards binary judgment rather than linear scaling, highlighting a shared challenge in these assessments. Experiment 2 extended the work of Finch et al. (2023) by focusing on dyadic dialogues and assessing Commonsense Contradiction, Incorrect Fact, and Redundancy. The results indicate that while GPT-4o demonstrates strong performance in maintaining factual accuracy and commonsense reasoning, it still struggles with reducing redundancy and self-contradiction. Our findings underscore the potential of GPT models to closely replicate human evaluation in dialogue systems, while also pointing to areas for improvement. This research offers valuable insights for advancing the development and implementation of more refined dialogue evaluation methodologies, contributing to the evolution of more effective and human-like AI communication tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google