Soda-Eval: Open-Domain Dialogue Evaluation in the age of LLMs

要約

オープンドメインの対話評価では依然として人による評価がゴールドスタンダードですが、大規模言語モデル (LLM) を使用した自動評価の人気の高まりにより、対話にも拡張されています。
ただし、ほとんどのフレームワークは、流暢性や関連性などの側面で古いチャットボットを評価するベンチマークを活用しており、最新のモデルに関連する課題は反映されていません。
実際、GPT-3.5 で生成された対話データセットである Soda の定性分析では、現在のチャットボットは一貫性と常識的な知識に関連するいくつかの繰り返しの問題を示している可能性があるものの、一般に非常に流暢で適切な応答を生成することが示唆されています。
前述の制限に留意して、この文書では、10,000 の対話にわたる 120,000 を超えるターンレベル評価をカバーする Soda に基づく注釈付きデータセットである Soda-Eval を紹介します。注釈は GPT-4 によって生成されました。
次に、Soda-Eval をベンチマークとして使用して、いくつかのオープンアクセスの命令調整 LLM のパフォーマンスを調査し、対話の評価が依然として難しいことがわかりました。
これらのモデルを微調整すると、相関性と説明の両方の観点から、数回の推論よりもパフォーマンスが向上します。

要約(オリジナル)

Although human evaluation remains the gold standard for open-domain dialogue evaluation, the growing popularity of automated evaluation using Large Language Models (LLMs) has also extended to dialogue. However, most frameworks leverage benchmarks that assess older chatbots on aspects such as fluency and relevance, which are not reflective of the challenges associated with contemporary models. In fact, a qualitative analysis on Soda, a GPT-3.5 generated dialogue dataset, suggests that current chatbots may exhibit several recurring issues related to coherence and commonsense knowledge, but generally produce highly fluent and relevant responses. Noting the aforementioned limitations, this paper introduces Soda-Eval, an annotated dataset based on Soda that covers over 120K turn-level assessments across 10K dialogues, where the annotations were generated by GPT-4. Using Soda-Eval as a benchmark, we then study the performance of several open-access instruction-tuned LLMs, finding that dialogue evaluation remains challenging. Fine-tuning these models improves performance over few-shot inferences, both in terms of correlation and explanation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google