Statistical inference for transfer learning with high-dimensional quantile regression

要約

タイトル：高次元分位回帰における転移学習のための統計的推論

要約：
– 転移学習は、ソースドメインからの情報を利用してターゲットタスクのパフォーマンスを向上させるための必須の技術になっている。
– 高次元データの多様性や重いテイルは、現在の転移学習手法では不十分に考慮されており、その結果としてパフォーマンスが低下する可能性がある。
– 我々は、高次元分位回帰モデルの枠組みでの転移学習手順を提案し、ソースドメインとターゲットドメインの多様性や重いテイルを考慮に入れることができるようにした。
– 転移可能なソースドメインを丁寧に選択することにより、転移学習推定器の誤差バウンドを確立し、重要な選択基準とソースタスクのサンプルサイズが大きい場合にはより低い誤差バウンドが得られることを示す。
– 加えて、転移学習推定器の一段階のデバイアス推定器を提唱することで、高次元分位回帰係数の個別の成分の有効な信頼区間と仮説検定手順を提案する。
– シミュレーション結果から、提案手法が有利な性能を示すことがわかり、理論的結果を裏付けている。

要約(オリジナル)

Transfer learning has become an essential technique to exploit information from the source domain to boost performance of the target task. Despite the prevalence in high-dimensional data, heterogeneity and/or heavy tails are insufficiently accounted for by current transfer learning approaches and thus may undermine the resulting performance. We propose a transfer learning procedure in the framework of high-dimensional quantile regression models to accommodate the heterogeneity and heavy tails in the source and target domains. We establish error bounds of the transfer learning estimator based on delicately selected transferable source domains, showing that lower error bounds can be achieved for critical selection criterion and larger sample size of source tasks. We further propose valid confidence interval and hypothesis test procedures for individual component of high-dimensional quantile regression coefficients by advocating a double transfer learning estimator, which is the one-step debiased estimator for the transfer learning estimator wherein the technique of transfer learning is designed again. Simulation results demonstrate that the proposed method exhibits some favorable performances, further corroborating our theoretical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI