Label Alignment Regularization for Distribution Shift

要約

最近の研究では、教師あり学習におけるラベル アライメント プロパティ (LAP) が強調されています。LAP では、データセット内のすべてのラベルのベクトルのほとんどが、データ行列の上位のいくつかの特異ベクトルの範囲内にあります。
この観察からインスピレーションを得て、ターゲット ドメイン内の予測とその最上位の特異ベクトルの間の位置合わせを促進する、教師なしドメイン適応のための正則化方法を提案します。
表現の正規化に焦点を当てた従来のドメイン適応アプローチとは異なり、代わりに、ソース ドメインとターゲット ドメインの両方で LAP によって導かれ、教師なしターゲット データに合わせて分類子を正規化します。
理論的分析により、特定の仮定の下で、私たちの解はターゲット ドメイン データの右上の特異ベクトルの範囲内に存在し、最適解と一致することが実証されています。
古典的なドメイン適応理論で一般的に使用されている最適な共同リスクの仮定への依存を取り除くことにより、伝統的なドメイン適応手法が高い共同エラーにより不十分であることが多い問題に対処する上での私たちの方法の有効性を示します。
さらに、MNIST-USPS ドメイン適応や異言語センチメント分析などのよく知られたタスクにおいて、ドメイン適応ベースラインを上回るパフォーマンスの向上が報告されています。

要約(オリジナル)

Recent work has highlighted the label alignment property (LAP) in supervised learning, where the vector of all labels in the dataset is mostly in the span of the top few singular vectors of the data matrix. Drawing inspiration from this observation, we propose a regularization method for unsupervised domain adaptation that encourages alignment between the predictions in the target domain and its top singular vectors. Unlike conventional domain adaptation approaches that focus on regularizing representations, we instead regularize the classifier to align with the unsupervised target data, guided by the LAP in both the source and target domains. Theoretical analysis demonstrates that, under certain assumptions, our solution resides within the span of the top right singular vectors of the target domain data and aligns with the optimal solution. By removing the reliance on the commonly used optimal joint risk assumption found in classic domain adaptation theory, we showcase the effectiveness of our method on addressing problems where traditional domain adaptation methods often fall short due to high joint error. Additionally, we report improved performance over domain adaptation baselines in well-known tasks such as MNIST-USPS domain adaptation and cross-lingual sentiment analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google