Addressing Parameter Choice Issues in Unsupervised Domain Adaptation by Aggregation

要約

タイトル：集約による教師なしドメイン適応におけるパラメータ選択問題への対処

要約：
– 教師なしドメイン適応におけるアルゴリズムのハイパーパラメータ選択問題を研究している。つまり、ソースドメインのラベル付きデータと異なる入力分布から引かれたターゲットドメインのラベルなしデータを用いたものである。
– 異なるハイパーパラメータを用いて複数のモデルを計算し、その後モデルの線形集約を計算する戦略に従う。この戦略に従ういくつかのヒューリスティックが存在するが、ターゲットエラーを境界化するための厳密な理論に依存する方法がまだ欠けている。
– このため、ベクトル値関数（深層ニューラルネットワークなど）に加重最小二乗法を拡張する方法を提案する。提案アルゴリズムのターゲットエラーが未知の最適集約のエラーの2倍以上にならないことを示す。また、テキスト、画像、脳波、ボディセンサーシグナル、モバイルフォンからのシグナルを含む複数のデータセットでの大規模な実験的比較研究を行い、提案方法が、理論的エラー保証の下での教師なしドメイン適応のパラメータ選択問題の解決で、深く埋め込まれたバリデーション（DEV）や重要度重み付けバリデーション（IWV）よりも優れた性能を発揮し、新しい最先端の性能を設定することを示した。
– また、競合するいくつかのヒューリスティックを研究し、すべてのデータセットでIWVとDEVを上回ったものがいくつかあるが、提案方法は少なくとも7つのデータセットのうち5つで各ヒューリスティックを上回る。

要約(オリジナル)

We study the problem of choosing algorithm hyper-parameters in unsupervised domain adaptation, i.e., with labeled data in a source domain and unlabeled data in a target domain, drawn from a different input distribution. We follow the strategy to compute several models using different hyper-parameters, and, to subsequently compute a linear aggregation of the models. While several heuristics exist that follow this strategy, methods are still missing that rely on thorough theories for bounding the target error. In this turn, we propose a method that extends weighted least squares to vector-valued functions, e.g., deep neural networks. We show that the target error of the proposed algorithm is asymptotically not worse than twice the error of the unknown optimal aggregation. We also perform a large scale empirical comparative study on several datasets, including text, images, electroencephalogram, body sensor signals and signals from mobile phones. Our method outperforms deep embedded validation (DEV) and importance weighted validation (IWV) on all datasets, setting a new state-of-the-art performance for solving parameter choice issues in unsupervised domain adaptation with theoretical error guarantees. We further study several competitive heuristics, all outperforming IWV and DEV on at least five datasets. However, our method outperforms each heuristic on at least five of seven datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI