DyGen: Learning from Noisy Labels via Dynamics-Enhanced Generative Modeling

要約

ノイズの多いラベルから学習することは、トレーニング データに不正確または破損したラベルが含まれる可能性がある多くの実世界のアプリケーションで生じる課題です。
ノイズの多いラベルを使用して言語モデルを微調整すると、モデルがラベル ノイズを簡単に過剰適合して、パフォーマンスの低下につながる可能性があります。
ノイズの多いラベルから学習するための既存の方法のほとんどは、ノイズ除去に静的入力特徴を使用しますが、これらの方法は真のラベル分布に関して提供できる情報に制限があり、偏った予測や不正確な予測が発生する可能性があります。
この研究では、言語モデルの微調整プロセス中に埋め込み空間で動的パターンを使用して、ノイズの多いラベル予測を改善する、動的拡張生成モデル (DyGen) を提案します。
DyGen は、変分自動エンコーディング フレームワークを使用して、ノイズのあるラベルとトレーニング ダイナミクスから真のラベルの事後分布を推論します。
さらに、共正則化メカニズムを使用して、潜在的にノイズの多いラベルと事前分布の影響を最小限に抑えます。
DyGen は、以前の最先端技術と比較して、2 つの合成ノイズ データセットで 3.10%、3 つの現実世界のノイズ データセットで 1.48% の平均精度の向上を実証しています。
広範な実験と分析により、DyGen の各コンポーネントの有効性が示されています。
私たちのコードは、GitHub で再現可能です。

要約(オリジナル)

Learning from noisy labels is a challenge that arises in many real-world applications where training data can contain incorrect or corrupted labels. When fine-tuning language models with noisy labels, models can easily overfit the label noise, leading to decreased performance. Most existing methods for learning from noisy labels use static input features for denoising, but these methods are limited by the information they can provide on true label distributions and can result in biased or incorrect predictions. In this work, we propose the Dynamics-Enhanced Generative Model (DyGen), which uses dynamic patterns in the embedding space during the fine-tuning process of language models to improve noisy label predictions. DyGen uses the variational auto-encoding framework to infer the posterior distributions of true labels from noisy labels and training dynamics. Additionally, a co-regularization mechanism is used to minimize the impact of potentially noisy labels and priors. DyGen demonstrates an average accuracy improvement of 3.10% on two synthetic noise datasets and 1.48% on three real-world noise datasets compared to the previous state-of-the-art. Extensive experiments and analyses show the effectiveness of each component in DyGen. Our code is available for reproducibility on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google