APAM: Adaptive Pre-training and Adaptive Meta Learning in Language Model for Noisy Labels and Long-tailed Learning

要約

タイトル：APAM：ノイズのあるラベルとロングテール学習のための言語モデルにおける適応的事前学習と適応的メタ学習

要約：
– NLPタスクは通常、ノイズのあるラベルとロングテールの問題を抱えている。このような問題は、Deep Neural Networks (DNNs)のような複雑なモデルの汎用性と頑健性に挑戦する。
– オーバーサンプリングやアンダーサンプリングなどの一般的に使用される再サンプリング技術は、過適合に簡単につながる。
– 少量のメタデータを活用してデータの重みを学習することが、人気が高まっている。
– 最近の研究では、特に過小表現されたデータに対して、自己教師ありの事前学習の利点が示されている。
– この論文では、ノイズのあるラベルとロングテールの問題を扱うための一般的なフレームワークを提案している。
– モデルは、対比的な学習方法で問題のドメインに適合するように適応される。
– 重み付けモジュールは、明示的な重み付け関数を学習し、メタデータに応じて重みを適応させる順送型ネットワークである。
– フレームワークは、交差エントロピー損失とフォーカル損失の多項式展開の組み合わせによって、損失関数内の用語の重みを適応的に調整する。
– 大規模な実験により、提案されたフレームワークは一貫してベースライン手法を上回ることが示された。
– 最後に、感度解析により、提案されたフレームワークがロングテール問題を扱う能力と、ノイズのあるラベルの負の影響を緩和する能力が強調されている。

要約(オリジナル)

Practical natural language processing (NLP) tasks are commonly long-tailed with noisy labels. Those problems challenge the generalization and robustness of complex models such as Deep Neural Networks (DNNs). Some commonly used resampling techniques, such as oversampling or undersampling, could easily lead to overfitting. It is growing popular to learn the data weights leveraging a small amount of metadata. Besides, recent studies have shown the advantages of self-supervised pre-training, particularly to the under-represented data. In this work, we propose a general framework to handle the problem of both long-tail and noisy labels. The model is adapted to the domain of problems in a contrastive learning manner. The re-weighting module is a feed-forward network that learns explicit weighting functions and adapts weights according to metadata. The framework further adapts weights of terms in the loss function through a combination of the polynomial expansion of cross-entropy loss and focal loss. Our extensive experiments show that the proposed framework consistently outperforms baseline methods. Lastly, our sensitive analysis emphasizes the capability of the proposed framework to handle the long-tailed problem and mitigate the negative impact of noisy labels.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI