DialogBench: Evaluating LLMs as Human-like Dialogue Systems

要約

大規模言語モデル (LLM) は、対話システムに対する人間の印象を一新する命令チューニングを活用することで、新しい対話機能において目覚ましい進歩を遂げました。
対話システムの長年の目標は、ユーザーとの長期的なつながりを確立できるほど人間らしくすることです。
したがって、LLM を人間のような対話システムとして評価することが急務となっています。
この論文では、人間のような対話システムが持つべき LLM の機能を調査するための 12 の対話タスクを含む対話評価ベンチマークである DialogBench を提案します。
具体的には、GPT-4 に各タスクの評価インスタンスを生成するよう促します。
まず、広く使用されている設計原則に基づいて基本的なプロンプトを設計し、既存のバイアスをさらに軽減して、より高品質の評価インスタンスを生成します。
26 個の LLM の英語と中国語の DialogBench に対する広範なテストでは、命令チューニングにより LLM の人間らしさがある程度向上しますが、ほとんどの LLM には人間のような対話システムとして改善の余地がまだ多くあることが示されています。
興味深いことに、結果は、アシスタント AI の配置により、命令の調整が LLM に対する人間の感情的な認識と人間の日常生活に関する情報の習得を弱める可能性があることも示しています。

要約(オリジナル)

Large language models (LLMs) have achieved remarkable breakthroughs in new dialogue capabilities by leveraging instruction tuning, which refreshes human impressions of dialogue systems. The long-standing goal of dialogue systems is to be human-like enough to establish long-term connections with users. Therefore, there has been an urgent need to evaluate LLMs as human-like dialogue systems. In this paper, we propose DialogBench, a dialogue evaluation benchmark that contains 12 dialogue tasks to probe the capabilities of LLMs as human-like dialogue systems should have. Specifically, we prompt GPT-4 to generate evaluation instances for each task. We first design the basic prompt based on widely used design principles and further mitigate the existing biases to generate higher-quality evaluation instances. Our extensive tests on English and Chinese DialogBench of 26 LLMs show that instruction tuning improves the human likeness of LLMs to a certain extent, but most LLMs still have much room for improvement as human-like dialogue systems. Interestingly, results also show that the positioning of assistant AI can make instruction tuning weaken the human emotional perception of LLMs and their mastery of information about human daily life.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google