Make Every Example Count: On the Stability and Utility of Self-Influence for Learning from Noisy NLP Datasets

要約

ますます大規模なデータセットが、最先端の NLP を推進するための標準的な要素となっています。
ただし、さらなる利益を得るには、データ品質がすでにボトルネックになっている可能性があります。
最新のデータセットの多様性とサイズを考慮すると、有害なデータの多面性と、複数のタスクにわたって一般化されるフィルタリング ルールのとらえどころのなさのため、標準のデータ フィルタリングを適用するのは簡単ではありません。
データクリーニングのトレーニング例のタスクに依存しない自己影響スコアの適合性を研究し、自然に発生する外れ値を捕捉する際のその有効性を分析し、自己影響ベースのデータクリーニングが機械翻訳、質問応答、および下流のパフォーマンスをどの程度改善できるかを調査します。
テキスト分類。自己影響力計算と自動カリキュラム学習への最近のアプローチに基づいています。

要約(オリジナル)

Increasingly larger datasets have become a standard ingredient to advancing the state-of-the-art in NLP. However, data quality might have already become the bottleneck to unlock further gains. Given the diversity and the sizes of modern datasets, standard data filtering is not straight-forward to apply, because of the multifacetedness of the harmful data and elusiveness of filtering rules that would generalize across multiple tasks. We study the fitness of task-agnostic self-influence scores of training examples for data cleaning, analyze their efficacy in capturing naturally occurring outliers, and investigate to what extent self-influence based data cleaning can improve downstream performance in machine translation, question answering and text classification, building up on recent approaches to self-influence calculation and automated curriculum learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google