Proxy-informed Bayesian transfer learning with unknown sources

要約

トレーニング データの範囲外で一般化するには、異なるデータ ソース間で伝達される効果と伝達されない効果に関する事前知識を活用する必要があります。
ベイジアン転移学習は、この知識を指定し、ソース (トレーニング) タスクとターゲット (予測) タスクからのデータに基づいて洗練するための原則的なパラダイムです。
私たちは、学習者が (i) ターゲット タスクを微調整することができず、(ii) どのソース データ ポイントが同じタスクに対応するかわからない (つまり、データ ソースが不明) という、困難な転移学習設定に対処します。
我々は、学習者がターゲットタスクからの結果情報にアクセスする必要がなく、ターゲットタスクの構造に合わせた事後予測推定を提供する、確率的転移学習のためのプロキシ情報に基づいたロバストな手法（PROMPT）を提案します。
代わりに、PROMPT はプロキシ情報の可用性に依存します。
PROMPT は、同じプロキシ情報を 2 つの目的に使用します。(i) ターゲット タスクに固有の効果の推定、および (ii) タスク間で伝達される効果を推定するためのソース データの堅牢な再重み付けの構築。
我々は、負の移転リスクに対するこの再重み付けの影響に関する理論的結果を提供し、2 つの合成設定での PROMPT の適用を実証します。

要約(オリジナル)

Generalization outside the scope of one’s training data requires leveraging prior knowledge about the effects that transfer, and the effects that don’t, between different data sources. Bayesian transfer learning is a principled paradigm for specifying this knowledge, and refining it on the basis of data from the source (training) and target (prediction) tasks. We address the challenging transfer learning setting where the learner (i) cannot fine-tune in the target task, and (ii) does not know which source data points correspond to the same task (i.e., the data sources are unknown). We propose a proxy-informed robust method for probabilistic transfer learning (PROMPT), which provides a posterior predictive estimate tailored to the structure of the target task, without requiring the learner have access to any outcome information from the target task. Instead, PROMPT relies on the availability of proxy information. PROMPT uses the same proxy information for two purposes: (i) estimation of effects specific to the target task, and (ii) construction of a robust reweighting of the source data for estimation of effects that transfer between tasks. We provide theoretical results on the effect of this reweighting on the risk of negative transfer, and demonstrate application of PROMPT in two synthetic settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google