Are LLMs Better than Reported? Detecting Label Errors and Mitigating Their Effect on Model Performance

要約

NLP ベンチマークは、モデルのトレーニングと評価に標準化されたデータセットに依存しており、この分野を進歩させるために非常に重要です。
従来、専門家の注釈により高品質のラベルが保証されていました。
ただし、専門家によるアノテーションのコストは、最新のモデルに必要な大規模なデータセットに対する需要の高まりにうまく対応できません。
クラウドソーシングはよりスケーラブルなソリューションを提供しますが、多くの場合、アノテーションの精度と一貫性が犠牲になります。
大規模言語モデル (LLM) の最近の進歩により、特に既存のデータセット内のラベル エラーの検出において、アノテーション プロセスを強化する新たな機会が提供されています。
この研究では、LLM のアンサンブルを活用して、誤ってラベル付けされた可能性のある例にフラグを立てる、裁判官としての LLM の最近のアプローチを検討します。
さまざまなタスクとドメインをカバーする TRUE ベンチマークの 4 つのデータセットのケーススタディを通じて、既存のデータセットのラベル品質を実証的に分析し、専門家によるアノテーション、クラウドソーシングによるアノテーション、および LLM ベースのアノテーションを一致度、ラベル品質、
と効率性を分析し、各アノテーション方法の長所と限界を示します。
私たちの調査結果では、かなりの数のラベル エラーが明らかになり、これを修正すると、報告されるモデルのパフォーマンスが大幅に上方シフトします。
これは、LLM のいわゆる間違いの多くが、本物のモデルの故障ではなく、ラベルのエラーによるものであることを示唆しています。
さらに、誤ったラベルが付けられたデータの影響について議論し、モデルのパフォーマンスを向上させるためにトレーニングでそれらを軽減する方法を提案します。

要約(オリジナル)

NLP benchmarks rely on standardized datasets for training and evaluating models and are crucial for advancing the field. Traditionally, expert annotations ensure high-quality labels; however, the cost of expert annotation does not scale well with the growing demand for larger datasets required by modern models. While crowd-sourcing provides a more scalable solution, it often comes at the expense of annotation precision and consistency. Recent advancements in large language models (LLMs) offer new opportunities to enhance the annotation process, particularly for detecting label errors in existing datasets. In this work, we consider the recent approach of LLM-as-a-judge, leveraging an ensemble of LLMs to flag potentially mislabeled examples. Through a case study of four datasets from the TRUE benchmark, covering different tasks and domains, we empirically analyze the labeling quality of existing datasets, and compare expert, crowd-sourced, and our LLM-based annotations in terms of agreement, label quality, and efficiency, demonstrating the strengths and limitations of each annotation method. Our findings reveal a substantial number of label errors, which, when corrected, induce a significant upward shift in reported model performance. This suggests that many of the LLMs so-called mistakes are due to label errors rather than genuine model failures. Additionally, we discuss the implications of mislabeled data and propose methods to mitigate them in training to improve model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google