A Strategy for Label Alignment in Deep Neural Networks

要約

最近の研究では、線形回帰設定での監視されていないドメイン適応のためのラベルアライメントプロパティの適用が成功したことが示されました。
ドメインの不変であることを学習する表現を正規化する代わりに、リニア回帰モデルを正規化して、ターゲットドメインからのデータマトリックスの上部特異ベクトルと整列することを提案しました。
この作業では、このアイデアを拡張し、ディープラーニングのケースに一般化します。そこでは、ディープニューラルネットワークに適したラベルアライメントを悪用する元の適応アルゴリズムの代替定式化を導き出します。
また、実験を実行して、私たちのアプローチが、Stablerの収束を有しながら、主流の非監視ドメイン適応方法に匹敵するパフォーマンスを達成することを実証します。
私たちの作業におけるすべての実験と実装は、次のコードベースで見つけることができます：https：//github.com/xuanrui-work/deeplabelalignment。

要約(オリジナル)

One recent research demonstrated successful application of the label alignment property for unsupervised domain adaptation in a linear regression settings. Instead of regularizing representation learning to be domain invariant, the research proposed to regularize the linear regression model to align with the top singular vectors of the data matrix from the target domain. In this work we expand upon this idea and generalize it to the case of deep learning, where we derive an alternative formulation of the original adaptation algorithm exploiting label alignment suitable for deep neural network. We also perform experiments to demonstrate that our approach achieves comparable performance to mainstream unsupervised domain adaptation methods while having stabler convergence. All experiments and implementations in our work can be found at the following codebase: https://github.com/xuanrui-work/DeepLabelAlignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google