Nearest Neighbor Sampling for Covariate Shift Adaptation

要約

既存の共変量シフト適応法の多くは、ソース分布とターゲット分布の間のギャップを軽減するために、損失値に与えられるサンプルの重みを推定します。
ただし、最適な重みを推定するには、通常、計算コストのかかる逆行列とハイパーパラメーターの調整が必要になります。
この論文では、重みの推定を回避する新しい共変量シフト適応法を提案します。
基本的な考え方は、ソース データセット内の $k$-最近傍に従ってラベル付けされた、ラベルのないターゲット データを直接操作することです。
私たちの分析により、$k = 1$ を設定することが最適な選択であることがわかりました。
このプロパティにより、唯一のハイパーパラメーター $k$ を調整する必要がなくなり、サンプル サイズでの実行時間が準線形になります。
結果には、平均二乗誤差と明示的な定数を厳密に制御した推定器の急激な収束率が含まれます。
特に、推定量の分散は、ノンパラメトリックな性質にもかかわらず、標準的なパラメトリック推定と同じ収束率を示します。
提案された推定量は、生物統計学、計量経済学、疫学などで使用されるいくつかのマッチングベースの治療効果推定量と類似点を共有しています。
私たちの実験では、驚くべき精度で実行時間の大幅な短縮が達成されることが示されています。

要約(オリジナル)

Many existing covariate shift adaptation methods estimate sample weights given to loss values to mitigate the gap between the source and the target distribution. However, estimating the optimal weights typically involves computationally expensive matrix inversion and hyper-parameter tuning. In this paper, we propose a new covariate shift adaptation method which avoids estimating the weights. The basic idea is to directly work on unlabeled target data, labeled according to the $k$-nearest neighbors in the source dataset. Our analysis reveals that setting $k = 1$ is an optimal choice. This property removes the necessity of tuning the only hyper-parameter $k$ and leads to a running time quasi-linear in the sample size. Our results include sharp rates of convergence for our estimator, with a tight control of the mean square error and explicit constants. In particular, the variance of our estimators has the same rate of convergence as for standard parametric estimation despite their non-parametric nature. The proposed estimator shares similarities with some matching-based treatment effect estimators used, e.g., in biostatistics, econometrics, and epidemiology. Our experiments show that it achieves drastic reduction in the running time with remarkable accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google