LLMs instead of Human Judges? A Large Scale Empirical Study across 20 NLP Evaluation Tasks

要約

人間の判断の代わりにLLMを使用してNLPモデルを評価し、これらの評価の妥当性に関する疑問を提起する傾向、および独自のモデルの場合の再現性が増加する傾向が増えています。
幅広い評価された特性とタイプのデータをカバーするヒト注釈を備えた20のNLPデータセットの拡張可能なコレクションである裁判官ベンチを提供し、注釈を再現する能力について、オープンウェイトと独自のモデルの両方をカバーする11の現在のLLMを包括的に評価します。
私たちの評価は、モデルとデータセット間でかなりのばらつきを示しています。
モデルはいくつかのタスクで信頼できる評価者ですが、評価対象のプロパティ、人間の裁判官の専門知識レベル、および言語が人間であるかモデルで生成されているかに応じて、全体的に大きな変動性を示します。
LLMは、評価者として使用される前に、人間の判断に対して慎重に検証されるべきであると結論付けています。

要約(オリジナル)

There is an increasing trend towards evaluating NLP models with LLMs instead of human judgments, raising questions about the validity of these evaluations, as well as their reproducibility in the case of proprietary models. We provide JUDGE-BENCH, an extensible collection of 20 NLP datasets with human annotations covering a broad range of evaluated properties and types of data, and comprehensively evaluate 11 current LLMs, covering both open-weight and proprietary models, for their ability to replicate the annotations. Our evaluations show substantial variance across models and datasets. Models are reliable evaluators on some tasks, but overall display substantial variability depending on the property being evaluated, the expertise level of the human judges, and whether the language is human or model-generated. We conclude that LLMs should be carefully validated against human judgments before being used as evaluators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google