Lessons from the Trenches on Reproducible Evaluation of Language Models

要約

言語モデルの効果的な評価は、NLP において依然として未解決の課題です。
研究者やエンジニアは、評価設定に対するモデルの感度、手法間の適切な比較の難しさ、再現性と透明性の欠如などの方法論的な問題に直面しています。
この論文では、大規模言語モデルの評価における 3 年間の経験を活用して、研究者にガイダンスと教訓を提供します。
まず、言語モデルの評価で直面する一般的な課題の概要を示します。
次に、これらの課題が研究に与える影響に対処または軽減するためのベスト プラクティスを説明します。
3 番目に、言語モデル評価ハーネス (lm-eval) を紹介します。これは、これらの問題に対処することを目的とした、言語モデルの独立した再現可能かつ拡張可能な評価のためのオープン ソース ライブラリです。
ライブラリの機能と、これらの方法論的な懸念を軽減するためにライブラリを使用したケーススタディについて説明します。

要約(オリジナル)

Effective evaluation of language models remains an open challenge in NLP. Researchers and engineers face methodological issues such as the sensitivity of models to evaluation setup, difficulty of proper comparisons across methods, and the lack of reproducibility and transparency. In this paper we draw on three years of experience in evaluating large language models to provide guidance and lessons for researchers. First, we provide an overview of common challenges faced in language model evaluation. Second, we delineate best practices for addressing or lessening the impact of these challenges on research. Third, we present the Language Model Evaluation Harness (lm-eval): an open source library for independent, reproducible, and extensible evaluation of language models that seeks to address these issues. We describe the features of the library as well as case studies in which the library has been used to alleviate these methodological concerns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google