Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Linear Regression

要約

特徴量の次元がサンプル サイズよりも大きい、高次元の線形回帰設定で転移学習の問題を検討します。
特徴やソースサンプルごとに異なる可能性のある伝達可能な情報を学習するために、特徴ごと（F-AdaTrans）またはサンプルごと（S-AdaTrans）の伝達可能な構造を検出して集約できる適応伝達学習方法を提案します。
これは、転送可能な構造に応じて適応できる重みと融合ペナルティを採用することで実現します。
重みを選択するために、我々は理論に基づいたデータ駆動型の手順を提案します。これにより、F-AdaTrans が転送不可能な信号をフィルタリングしながら転送可能な信号をターゲットと選択的に融合し、S-AdaTrans がターゲットから転送された情報の最適な組み合わせを取得できるようになります。
各ソースサンプル。
適切に選択された重みにより、F-AdaTrans は既知の伝達可能な構造を備えたオラクル推定器の収束率に近い収束率を達成し、S-AdaTrans は特殊なケースとして既存の最小値に近い最適レートを回復することを示します。
提案手法の有効性はシミュレーションと実際のデータの両方を使用して検証され、既存の手法と比較して良好なパフォーマンスが実証されました。

要約(オリジナル)

We consider the transfer learning problem in the high dimensional linear regression setting, where the feature dimension is larger than the sample size. To learn transferable information, which may vary across features or the source samples, we propose an adaptive transfer learning method that can detect and aggregate the feature-wise (F-AdaTrans) or sample-wise (S-AdaTrans) transferable structures. We achieve this by employing a fused-penalty, coupled with weights that can adapt according to the transferable structure. To choose the weight, we propose a theoretically informed, data-driven procedure, enabling F-AdaTrans to selectively fuse the transferable signals with the target while filtering out non-transferable signals, and S-AdaTrans to obtain the optimal combination of information transferred from each source sample. We show that, with appropriately chosen weights, F-AdaTrans achieves a convergence rate close to that of an oracle estimator with a known transferable structure, and S-AdaTrans recovers existing near-minimax optimal rates as a special case. The effectiveness of the proposed method is validated using both simulation and real data, demonstrating favorable performance compared to the existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google