TreeEval: Benchmark-Free Evaluation of Large Language Models through Tree Planning

要約

最近、全体的なスコアを計算するか、別の LLM を判定として採用することによって、大規模言語モデル (LLM) のパフォーマンスを評価するための多数の新しいベンチマークが確立されました。
ただし、これらのアプローチは、ベンチマークへのオープンアクセスと柔軟性のない評価プロセスにより、データ漏洩に悩まされます。
この問題に対処するために、$\textbf{TreeEval}$ を導入します。これは、高性能 LLM が再現不可能な評価セッションをホストできるようにし、基本的にデータ漏洩を回避する、ベンチマーク不要の LLM 評価方法です。
さらに、この LLM は、ツリー プランニング戦略を使用してトピックの下に一連の質問を提起する試験官として機能します。ツリー プランニング戦略では、現在の評価ステータスを考慮して次の問題の生成を決定し、評価プロセスの完全性と効率性を確保します。
$7$B、$13$B、$33$B など、さまざまなパラメーター サイズの $6$ モデルを評価し、最終的に約 $45$ の質問のみを使用して AlpacaEval2.0 で最高の相関係数を達成しました。
また、TreeEval の堅牢性と信頼性を示すために、さらなる分析も実施します。
私たちのコードには、提供されている https://github.com/Ashura5/TreeEval からアクセスできます。

要約(オリジナル)

Recently, numerous new benchmarks have been established to evaluate the performance of large language models (LLMs) via either computing a holistic score or employing another LLM as a judge. However, these approaches suffer from data leakage due to the open access of the benchmark and inflexible evaluation process. To address this issue, we introduce $\textbf{TreeEval}$, a benchmark-free evaluation method for LLMs that let a high-performance LLM host an irreproducible evaluation session and essentially avoids the data leakage. Moreover, this LLM performs as an examiner to raise up a series of questions under a topic with a tree planing strategy, which considers the current evaluation status to decide the next question generation and ensures the completeness and efficiency of the evaluation process. We evaluate $6$ models of different parameter sizes, including $7$B, $13$B, and $33$B, and ultimately achieved the highest correlation coefficient with AlpacaEval2.0 using only around $45$ questions. We also conduct more analysis to show the robustness and reliability of TreeEval. Our code can be accessed via the provided https://github.com/Ashura5/TreeEval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google