LLMEval: A Preliminary Study on How to Evaluate Large Language Models

要約

最近、大規模言語モデルの評価が人気の研究分野として浮上しています。
LLM 評価で重要な 3 つの質問は、「何を、どこで、どのように評価するか」です。
しかし、既存の研究は主に最初の 2 つの質問に焦点を当てており、これらは基本的に、テスト中に LLM にどのようなタスクを与えるか、どのような種類の知識を扱うべきかということです。
3 番目の、どのような基準で評価するか、評価者の種類、点数の付け方、ランク付けの方法については、あまり議論されていません。
この論文では、オンサイト、クラウドソーシング、パブリックアノテーター、GPT-4を利用し、異なるスコアリング方法とランキングシステムを使用して、手動評価と自動評価の両方でさまざまな基準を比較することにより、評価方法を分析します。
新しいデータセット LLMEval を提案し、20 個の LLM の評価を実施します。
合計 2,186 人が参加し、243,337 件の手動注釈と 57,511 件の自動評価結果が生成されました。
私たちはさまざまな設定の比較と分析を実行し、将来 LLM を評価するための洞察を提供できる 10 の結論を導き出します。
データセットと結果は https://github.com/llmeval で公開されています。

要約(オリジナル)

Recently, the evaluation of Large Language Models has emerged as a popular area of research. The three crucial questions for LLM evaluation are “what, where, and how to evaluate”. However, the existing research mainly focuses on the first two questions, which are basically what tasks to give the LLM during testing and what kind of knowledge it should deal with. As for the third question, which is about what standards to use, the types of evaluators, how to score, and how to rank, there hasn’t been much discussion. In this paper, we analyze evaluation methods by comparing various criteria with both manual and automatic evaluation, utilizing onsite, crowd-sourcing, public annotators and GPT-4, with different scoring methods and ranking systems. We propose a new dataset, LLMEval and conduct evaluations on 20 LLMs. A total of 2,186 individuals participated, leading to the generation of 243,337 manual annotations and 57,511 automatic evaluation results. We perform comparisons and analyses of different settings and conduct 10 conclusions that can provide some insights for evaluating LLM in the future. The dataset and the results are publicly available at https://github.com/llmeval .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google