Transfer Learning Under High-Dimensional Network Convolutional Regression Model

要約

転送学習は、特にラベル付きデータが不足している場合、関連ドメインからの知識を利用することにより、モデルのパフォーマンスを向上させます。
既存の研究は、独立した設定のさまざまな分布シフトの下での転送学習に対処していますが、ネットワーク化されたデータの依存関係の処理は依然として困難です。
この課題に対処するために、グラフ畳み込みネットワーク（GCNS）の成功に触発されたネットワーク畳み込み回帰（NCR）に基づいた高次元転送学習フレームワークを提案します。
NCRモデルには、各ノードの応答が近隣の機能と集計された機能に依存し、ローカルの依存関係を効果的にキャプチャすることを可能にすることにより、ランダムネットワーク構造を組み込みます。
私たちの方法論には、ソースネットワークとターゲットネットワーク間のドメインシフトに対処する2段階の転送学習アルゴリズムと、有益なドメインを特定するためのソース検出メカニズムが含まれます。
理論的には、Erdos-Renyiモデルの仮定に基づいたランダムグラフのコンテキストでラッソ推定器を分析し、伝達学習が有益なソースが存在するときに収束速度を改善することを示しています。
Sina Weiboデータを使用したシミュレーションや実際のアプリケーションを含む経験的評価は、特にターゲットドメインのラベルデータが限られている場合、予測精度の大幅な改善を示しています。

要約(オリジナル)

Transfer learning enhances model performance by utilizing knowledge from related domains, particularly when labeled data is scarce. While existing research addresses transfer learning under various distribution shifts in independent settings, handling dependencies in networked data remains challenging. To address this challenge, we propose a high-dimensional transfer learning framework based on network convolutional regression (NCR), inspired by the success of graph convolutional networks (GCNs). The NCR model incorporates random network structure by allowing each node’s response to depend on its features and the aggregated features of its neighbors, capturing local dependencies effectively. Our methodology includes a two-step transfer learning algorithm that addresses domain shift between source and target networks, along with a source detection mechanism to identify informative domains. Theoretically, we analyze the lasso estimator in the context of a random graph based on the Erdos-Renyi model assumption, demonstrating that transfer learning improves convergence rates when informative sources are present. Empirical evaluations, including simulations and a real-world application using Sina Weibo data, demonstrate substantial improvements in prediction accuracy, particularly when labeled data in the target domain is limited.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google