Assessing Contamination in Large Language Models: Introducing the LogProber method

要約

機械学習において、汚染とは、テスト データがトレーニング セットに漏れる状況を指します。
この問題は、通常、World Wide Web から収集された巨大で一般に不透明なテキストのコーパスでトレーニングされる大規模言語モデル (LLM) のパフォーマンスの評価に特に関連します。
したがって、汚染を検出するツールを開発することは、LLM のパフォーマンスの進化を公平かつ適切に追跡できるようにするために重要です。
この分野の最近の研究のほとんどは、心理学のアンケートで見られるような、短いテキストシーケンスの汚染を定量化するように調整されていません。
この論文では、与えられた文内のトークン確率を使用して汚染を検出できることを示す、新規で効率的なアルゴリズムである LogProber を紹介します。
2 番目の部分では、この方法の限界を調査し、さまざまなトレーニング方法がトークンの確率に痕跡を残さずにモデルを汚染する仕組みについて説明します。

要約(オリジナル)

In machine learning, contamination refers to situations where testing data leak into the training set. The issue is particularly relevant for the evaluation of the performance of Large Language Models (LLMs), which are generally trained on gargantuan, and generally opaque, corpora of text scraped from the world wide web. Developing tools to detect contamination is therefore crucial to be able to fairly and properly track the evolution of the performance of LLMs. Most recent works in the field are not tailored to quantify contamination on short sequences of text like we find in psychology questionnaires. In the present paper we introduce LogProber, a novel, efficient, algorithm that we show able to detect contamination using token probability in given sentences. In the second part we investigate the limitations of the method and discuss how different training methods can contaminate models without leaving traces in the token probabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google