Benchmarking Cognitive Biases in Large Language Models as Evaluators

要約

大規模言語モデル (LLM) は、単純なプロンプトとコンテキスト内学習を備えた自動評価器として効果的であることが最近示されました。
この作業では、4 つの異なるサイズ範囲の 15 個の LLM を組み立て、評価者として他の LLM からの優先順位によって出力応答を評価します (たとえば、System Star が System Square より優れているなど)。
次に、Cognitive Bias Benchmark for LLMs as Evaluators (CoBBLEr) を導入して、ランキング出力の品質を評価します。これは、LLM 評価出力における 6 つの異なる認知バイアスを測定するベンチマークです。たとえば、モデルが自身の出力を上位にランク付けすることを好む自己中心性バイアスなどです。
評価。
LLM は偏ったテキスト品質評価者であり、評価者としての堅牢性に疑問を呈するバイアス ベンチマーク (全モデルの比較の平均 40%) のそれぞれの評価で強い兆候を示していることがわかりました。
さらに、人間とマシンの好みの相関関係を調べ、ランクバイアスオーバーラップ (RBO) の平均スコアは 49.6% であると計算され、マシンの好みが人間とずれていることを示しています。
私たちの調査結果によると、LLM は依然として人間の好みに合わせた自動アノテーションには利用できない可能性があります。
私たちのプロジェクト ページは https://minnesotanlp.github.io/cobbler にあります。

要約(オリジナル)

Large Language Models (LLMs) have recently been shown to be effective as automatic evaluators with simple prompting and in-context learning. In this work, we assemble 15 LLMs of four different size ranges and evaluate their output responses by preference ranking from the other LLMs as evaluators, such as System Star is better than System Square. We then evaluate the quality of ranking outputs introducing the Cognitive Bias Benchmark for LLMs as Evaluators (CoBBLEr), a benchmark to measure six different cognitive biases in LLM evaluation outputs, such as the Egocentric bias where a model prefers to rank its own outputs highly in evaluation. We find that LLMs are biased text quality evaluators, exhibiting strong indications on our bias benchmark (average of 40% of comparisons across all models) within each of their evaluations that question their robustness as evaluators. Furthermore, we examine the correlation between human and machine preferences and calculate the average Rank-Biased Overlap (RBO) score to be 49.6%, indicating that machine preferences are misaligned with humans. According to our findings, LLMs may still be unable to be utilized for automatic annotation aligned with human preferences. Our project page is at: https://minnesotanlp.github.io/cobbler.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google