PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations

要約

現在、さまざまな最新の大規模言語モデル (LLM) によって生成される応答の品質を自動的に評価して比較することは困難です。
最近の研究では、自由回答型の質問に答えるための参照不要の指標として LLM が提案されており、主に使用されています。
より具体的には、「最も強い」と認識されている LLM を評価者として使用し、候補モデルの回答をペアごとに比較し、ランキング スコアを提供します。
ただし、この直感的な方法には、自己強化（自分自身の答えを好む）や立場の偏りをもたらすなど、複数の問題があります。
私たちは、LLM ベースの評価を改善するために、教育領域からの洞察と教訓を引き出します (Cho および McCarthar、2011; Walsh、2014)。
具体的には、(1) 各ピア LLM のすべての回答ペアのペアごとの優先順位を考慮し、モデルの最終的なランキングを出力するピア ランク (PR) アルゴリズムを提案します。
(2) ピア ディスカッション (PD)。2 つの LLM に議論を促し、2 つの回答の優先順位について相互の合意に達するよう努めます。
2 つのベンチマーク データセットで実験を行います。
私たちのアプローチはそれぞれ、より高い精度を達成し、人間の判断とよりよく一致することがわかりました。
興味深いことに、PR は、各モデルの名前が明らかにされない匿名設定の下で、モデルの比較的正確な自己ランキングを誘導できます。
私たちの研究は、人間にとって比較するのが難しいモデルの評価を検討する余地を提供します。

要約(オリジナル)

Nowadays, the quality of responses generated by different modern large language models (LLMs) are hard to evaluate and compare automatically. Recent studies suggest and predominantly use LLMs as a reference-free metric for open-ended question answering. More specifically, they use the recognized ‘strongest’ LLM as the evaluator, which conducts pairwise comparisons of candidate models’ answers and provides a ranking score. However, this intuitive method has multiple problems, such as bringing in self-enhancement (favoring its own answers) and positional bias. We draw insights and lessons from the educational domain (Cho and MacArthur, 2011; Walsh, 2014) to improve LLM-based evaluations. Specifically, we propose the (1) peer rank (PR) algorithm that takes into account each peer LLM’s pairwise preferences of all answer pairs, and outputs a final ranking of models; and (2) peer discussion (PD), where we prompt two LLMs to discuss and try to reach a mutual agreement on preferences of two answers. We conduct experiments on two benchmark datasets. We find that our approaches achieve higher accuracy and align better with human judgments, respectively. Interestingly, PR can induce a relatively accurate self-ranking of models under the anonymous setting, where each model’s name is unrevealed. Our work provides space to explore evaluating models that are hard to compare for humans.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google