A Survey on Out-of-Distribution Evaluation of Neural NLP Models

要約

敵対的堅牢性、ドメイン一般化、およびデータセット バイアスは、ニューラル NLP モデルの分布外 (OOD) 評価に貢献する 3 つのアクティブな研究分野です。
しかし、3 つの研究分野に関する包括的で統合された議論はまだ文献に欠けています。
この調査では、1) 統一した定義に基づいて 3 つの研究分野を比較します。
2) 各研究分野のデータ生成プロセスと評価プロトコルを要約する。
3) 将来の仕事に対する課題と機会を強調します。

要約(オリジナル)

Adversarial robustness, domain generalization and dataset biases are three active lines of research contributing to out-of-distribution (OOD) evaluation on neural NLP models. However, a comprehensive, integrated discussion of the three research lines is still lacking in the literature. In this survey, we 1) compare the three lines of research under a unifying definition; 2) summarize the data-generating processes and evaluation protocols for each line of research; and 3) emphasize the challenges and opportunities for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google