A Language Anchor-Guided Method for Robust Noisy Domain Generalization

要約

現実世界の機械学習アプリケーションは、分布シフトとラベルノイズという2つの主要な課題に苦労していることがよくあります。
モデルは、トレーニングデータの冗長で情報のない機能に焦点を当てることで過剰にでもきつく傾向があるため、ターゲットドメインに一般化することが困難になります。
ノイズの多いデータは、ノイズにさらなる過剰適合を引き起こすことによりこの問題を悪化させます。つまり、既存の方法は、真の不変の特徴と誤解を招くような偽物の違いを知らせないことが多いことを意味します。
これらの問題に取り組むために、アンカーアライメントと適応重み（A3W）を紹介します。
この新しいアルゴリズムは、より代表的な機能を抽出するために、自然言語処理（NLP）のアンカーによって誘導されたサンプルの再筆主を使用します。
簡単に言えば、A3Wは、自然言語モデルのセマンティック表現をドメイン不変の事前知識のソースとして活用しています。
さらに、対応するNLPアンカーとの類似性に基づいて、各サンプルの寄与を調整する加重損失関数を使用します。
この調整により、モデルはノイズの多いラベルに対してより堅牢になります。
標準のベンチマークデータセットでの広範な実験は、A3Wが一貫して最先端のドメイン一般化方法を上回ることを示しており、異なるデータセットとノイズレベルにわたって精度と堅牢性の両方を大幅に改善することが示されています。

要約(オリジナル)

Real-world machine learning applications often struggle with two major challenges: distribution shift and label noise. Models tend to overfit by focusing on redundant and uninformative features in the training data, which makes it hard for them to generalize to the target domain. Noisy data worsens this problem by causing further overfitting to the noise, meaning that existing methods often fail to tell the difference between true, invariant features and misleading, spurious ones. To tackle these issues, we introduce Anchor Alignment and Adaptive Weighting (A3W). This new algorithm uses sample reweighting guided by natural language processing (NLP) anchors to extract more representative features. In simple terms, A3W leverages semantic representations from natural language models as a source of domain-invariant prior knowledge. Additionally, it employs a weighted loss function that adjusts each sample’s contribution based on its similarity to the corresponding NLP anchor. This adjustment makes the model more robust to noisy labels. Extensive experiments on standard benchmark datasets show that A3W consistently outperforms state-of-the-art domain generalization methods, offering significant improvements in both accuracy and robustness across different datasets and noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google