Prompt-to-Leaderboard

要約

大規模な言語モデル（LLM）評価は、通常、精度や人間の好みなどの集計されたメトリック、ユーザーとプロンプト間の平均化に依存しています。
この平均化により、モデルパフォーマンスのユーザーとプロンプト固有の変動が不明瞭になります。
これに対処するために、プロンプトに固有のリーダーボードを生成するメソッドであるプロンプトからリードボード（P2L）を提案します。
中核的なアイデアは、自然言語プロンプトを取得するLLMを入力として訓練することです。Bradley-Terry係数のベクトルを出力し、その後、人間の好みの投票を予測するために使用されます。
結果として生じるプロンプト依存のリーダーボードにより、教師なしのタスク固有の評価、モデルへのクエリの最適なルーティング、モデルの長所と短所の自動評価が可能になります。
Chatbot Arenaのデータは、P2Lが平均化されたリーダーボードよりも言語モデルのパフォーマンスの微妙なランドスケープをよりよくキャプチャすることを示唆しています。
さらに、我々の調査結果は、P2Lの迅速な特異的評価を生成する能力が、LLMS自体で観察されたものと同様のパワー法則に従うことを示唆しています。
2025年1月、この方法論に基づいてトレーニングしたルーターは、チャットボットアリーナリーダーボードの\＃1スポットを達成しました。
私たちのコードは、このgithubリンクhttps://github.com/lmarena/p2lで入手できます。

要約(オリジナル)

Large language model (LLM) evaluations typically rely on aggregated metrics like accuracy or human preference, averaging across users and prompts. This averaging obscures user- and prompt-specific variations in model performance. To address this, we propose Prompt-to-Leaderboard (P2L), a method that produces leaderboards specific to a prompt. The core idea is to train an LLM taking natural language prompts as input to output a vector of Bradley-Terry coefficients which are then used to predict the human preference vote. The resulting prompt-dependent leaderboards allow for unsupervised task-specific evaluation, optimal routing of queries to models, personalization, and automated evaluation of model strengths and weaknesses. Data from Chatbot Arena suggest that P2L better captures the nuanced landscape of language model performance than the averaged leaderboard. Furthermore, our findings suggest that P2L’s ability to produce prompt-specific evaluations follows a power law scaling similar to that observed in LLMs themselves. In January 2025, the router we trained based on this methodology achieved the \#1 spot in the Chatbot Arena leaderboard. Our code is available at this GitHub link: https://github.com/lmarena/p2l.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google