State-of-the-art generalisation research in NLP: A taxonomy and review

要約

適切に一般化する能力は、自然言語処理 (NLP) の主な要望の 1 つです。
しかし、「優れた一般化」が何を意味し、それをどのように評価すべきかは十分に理解されておらず、一般化の評価基準もありません。
このホワイトペーパーでは、これらの両方の問題に対処するための基礎を築きます。
NLP における一般化研究を特徴づけ、理解するための分類法を紹介します。
私たちの分類法は一般化研究に関する広範な文献レビューに基づいており、研究が異なる可能性がある 5 つの軸が含まれています。それは、研究の主な動機、調査する一般化の種類、検討するデータ シフトの種類、このデータ シフトのソース、および
モデリングパイプライン内のシフトの軌跡。
私たちは分類法を使用して、一般化をテストする 400 以上の論文、合計 600 以上の個々の実験を分類します。
このレビューの結果を考慮して、NLP における一般化研究の現状を図示する詳細な分析を提示し、将来どの分野が注目に値する可能性があるかについて推奨します。
この論文とともに、レビューの結果を動的に調査できる Web ページをリリースします。このページは、新しい NLP 一般化研究が公開されるたびに更新する予定です。
この取り組みにより、私たちは最先端の汎化テストを NLP の新たな現状にするための一歩を踏み出すことを目指しています。

要約(オリジナル)

The ability to generalise well is one of the primary desiderata of natural language processing (NLP). Yet, what ‘good generalisation’ entails and how it should be evaluated is not well understood, nor are there any evaluation standards for generalisation. In this paper, we lay the groundwork to address both of these issues. We present a taxonomy for characterising and understanding generalisation research in NLP. Our taxonomy is based on an extensive literature review of generalisation research, and contains five axes along which studies can differ: their main motivation, the type of generalisation they investigate, the type of data shift they consider, the source of this data shift, and the locus of the shift within the modelling pipeline. We use our taxonomy to classify over 400 papers that test generalisation, for a total of more than 600 individual experiments. Considering the results of this review, we present an in-depth analysis that maps out the current state of generalisation research in NLP, and we make recommendations for which areas might deserve attention in the future. Along with this paper, we release a webpage where the results of our review can be dynamically explored, and which we intend to update as new NLP generalisation studies are published. With this work, we aim to take steps towards making state-of-the-art generalisation testing the new status quo in NLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google