The Validity of Evaluation Results: Assessing Concurrence Across Compositionality Benchmarks

要約

パフォーマンスを評価するために提案された多数のデータセットによると、NLP モデルは近年大幅に進歩しました。
ただし、特定のデータセット設計の選択が、モデルの機能について導き出される結論にどのような影響を与えるかについては疑問が残ります。
この研究では、構成の一般化の領域でこの問題を調査します。
4 つのデータセットにわたる 6 つのモデリング アプローチのパフォーマンスを 8 つの構成分割戦略に従って分割し、合計 18 の構成一般化分割によってモデルをランク付けして調べます。
私たちの結果は次のことを示しています。i) データセットはすべて構成的一般化を評価するように設計されていますが、ランク モデリングのアプローチは異なります。
ii) 人間によって生成されたデータセットは、合成データセットを使用するよりも、または合成データセット同士よりも相互によく整合します。
iii) 一般に、データセットが同じソースからサンプリングされているかどうかは、構成性の同じ解釈が維持されているかどうかよりも、結果として得られるモデルのランキングを予測します。
iv) データ内でどの語彙項目が使用されているかが、結論に大きな影響を与える可能性があります。
全体として、私たちの結果は、一般的な評価データセットが測定しようとしているものを測定しているかどうかを評価することに関しては、多くの作業が残っていることを示しており、評価セットの妥当性を確立するためのより厳格な基準を解明することがこの分野に利益をもたらす可能性があることを示唆しています。

要約(オリジナル)

NLP models have progressed drastically in recent years, according to numerous datasets proposed to evaluate performance. Questions remain, however, about how particular dataset design choices may impact the conclusions we draw about model capabilities. In this work, we investigate this question in the domain of compositional generalization. We examine the performance of six modeling approaches across 4 datasets, split according to 8 compositional splitting strategies, ranking models by 18 compositional generalization splits in total. Our results show that: i) the datasets, although all designed to evaluate compositional generalization, rank modeling approaches differently; ii) datasets generated by humans align better with each other than they with synthetic datasets, or than synthetic datasets among themselves; iii) generally, whether datasets are sampled from the same source is more predictive of the resulting model ranking than whether they maintain the same interpretation of compositionality; and iv) which lexical items are used in the data can strongly impact conclusions. Overall, our results demonstrate that much work remains to be done when it comes to assessing whether popular evaluation datasets measure what they intend to measure, and suggest that elucidating more rigorous standards for establishing the validity of evaluation sets could benefit the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google