Towards More Robust NLP System Evaluation: Handling Missing Scores in Benchmarks

要約

自然言語処理 (NLP) システムの評価は、この分野を進歩させるために非常に重要ですが、現在のベンチマーク アプローチでは、多くの場合、すべてのシステムがすべてのタスクに対して利用可能なスコアを持っていると想定されており、これは必ずしも実用的ではありません。
実際には、ベースライン、プライベート システムの実行コスト、計算上の制限、不完全なデータなどのいくつかの要因により、一部のシステムのタスク全体の評価が妨げられる場合があります。
この論文では、NLP 研究における既存の問題、つまりタスクで一部のシステム スコアが欠落している場合のベンチマークを形式化し、それに対処するための新しいアプローチを提案します。
私たちの方法では、互換性のある部分ランキング手法を利用して欠損データを補い、その後、Borda count 方法を使用して集計されます。
これには、タスク レベルまたはインスタンス レベルのスコアが利用可能なシナリオ向けに特別に設計された 2 つの改良が含まれています。
また、既存のベンチマークよりも桁違いに多い、1 億 3,100 万を超えるスコアを含む拡張ベンチマークも導入します。
私たちは自分たちの方法を検証し、タスク全体でシステム評価が欠落しているという課題に対処する上でその有効性を実証します。
この研究は、すべてのシステムがタスク全体で評価されるわけではない現実のシナリオに対処できる、より包括的なベンチマーク アプローチの必要性を浮き彫りにしています。

要約(オリジナル)

The evaluation of natural language processing (NLP) systems is crucial for advancing the field, but current benchmarking approaches often assume that all systems have scores available for all tasks, which is not always practical. In reality, several factors such as the cost of running baseline, private systems, computational limitations, or incomplete data may prevent some systems from being evaluated on entire tasks. This paper formalize an existing problem in NLP research: benchmarking when some systems scores are missing on the task, and proposes a novel approach to address it. Our method utilizes a compatible partial ranking approach to impute missing data, which is then aggregated using the Borda count method. It includes two refinements designed specifically for scenarios where either task-level or instance-level scores are available. We also introduce an extended benchmark, which contains over 131 million scores, an order of magnitude larger than existing benchmarks. We validate our methods and demonstrate their effectiveness in addressing the challenge of missing system evaluation on an entire task. This work highlights the need for more comprehensive benchmarking approaches that can handle real-world scenarios where not all systems are evaluated on the entire task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google