Judging LLM-as-a-judge with MT-Bench and Chatbot Arena

要約

大規模言語モデル (LLM) ベースのチャット アシスタントの評価は、チャット アシスタントの幅広い機能と、人間の好みを測定する際の既存のベンチマークが不十分であるため、困難です。
これに対処するために、より自由回答の質問でこれらのモデルを評価するために、強力な LLM を審査員として使用することを検討します。
私たちは、立場や冗長性のバイアス、限られた推論能力など、裁判官としての LLM の使用法と制限を調査し、それらの一部を移行するためのソリューションを提案します。
次に、2 つのベンチマークを導入することによって、LLM ジャッジと人間の好みとの間の一致を検証します。MT ベンチ、マルチターン質問セット。
そしてクラウドソーシングのバトルプラットフォームであるChatbot Arena。
私たちの結果は、GPT-4 のような強力な LLM ジャッジが、管理された人間の好みとクラウドソーシングされた人間の好みの両方にうまく一致し、80% 以上の一致、つまり人間間の一致レベルと同じレベルを達成できることを明らかにしました。
したがって、LLM-as-a-judge は、人間の好みを近似するためのスケーラブルで説明可能な方法です。そうでなければ、その好みを取得するのに非常にコストがかかります。
さらに、LLaMA/Vicuna のいくつかのバリアントを評価することで、当社のベンチマークと従来のベンチマークが相互に補完していることを示します。
Chatbot Arena から 80 の MT ベンチの質問、3,000 の専門家投票、および人間の好みを含む 30,000 の会話を一般公開します。

要約(オリジナル)

Evaluating large language model (LLM) based chat assistants is challenging due to their broad capabilities and the inadequacy of existing benchmarks in measuring human preferences. To address this, we explore using strong LLMs as judges to evaluate these models on more open-ended questions. We examine the usage and limitations of LLM-as-a-judge, such as position and verbosity biases and limited reasoning ability, and propose solutions to migrate some of them. We then verify the agreement between LLM judges and human preferences by introducing two benchmarks: MT-bench, a multi-turn question set; and Chatbot Arena, a crowdsourced battle platform. Our results reveal that strong LLM judges like GPT-4 can match both controlled and crowdsourced human preferences well, achieving over 80\% agreement, the same level of agreement between humans. Hence, LLM-as-a-judge is a scalable and explainable way to approximate human preferences, which are otherwise very expensive to obtain. Additionally, we show our benchmark and traditional benchmarks complement each other by evaluating several variants of LLaMA/Vicuna. We will publicly release 80 MT-bench questions, 3K expert votes, and 30K conversations with human preferences from Chatbot Arena.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google