Bridged-GNN: Knowledge Bridge Learning for Effective Knowledge Transfer

要約

データの不足と低品質を特徴とするデータ大量の問題は、深層学習モデルにとって障害となります。
転移学習は、ソース ドメインの高品質の外部データからターゲット ドメインの限られたデータに知識を転移する実現可能な方法であり、共有事後分布を学習するためのドメイン レベルの知識の転移に続きます。
ただし、これらは通常、ドメイン不変事後分布などの強力な仮定に基づいて構築されており、これは通常満たされず、ノイズが導入される可能性があり、ターゲット ドメインでの汎化能力が低下する可能性があります。
隣接ノードからの情報を集約するグラフ ニューラル ネットワーク (GNN) に触発され、ターゲット ドメインの知識強化事後分布、つまりナレッジ ブリッジ学習 (KBL) を学習するパラダイムを再定義しました。
KBL はまず、知識のあるサンプルを各ターゲット サンプルに接続するブリッジ グラフを構築することで知識伝達の範囲を学習し、次に GNN を介してサンプルごとの知識伝達を実行します。KBL には強い仮定がなく、ソース データのノイズに対して堅牢です。
KBL の指導を受けて、ブリッジ グラフを構築するための適応型知識検索モジュールとグラフ知識転送モジュールを含むブリッジ GNN} を提案します。
非リレーショナルおよびリレーショナルの両方のデータを必要とするシナリオに関する包括的な実験により、SOTA 手法と比較して Bridged-GNN の大幅な改善が実証されました。

要約(オリジナル)

The data-hungry problem, characterized by insufficiency and low-quality of data, poses obstacles for deep learning models. Transfer learning has been a feasible way to transfer knowledge from high-quality external data of source domains to limited data of target domains, which follows a domain-level knowledge transfer to learn a shared posterior distribution. However, they are usually built on strong assumptions, e.g., the domain invariant posterior distribution, which is usually unsatisfied and may introduce noises, resulting in poor generalization ability on target domains. Inspired by Graph Neural Networks (GNNs) that aggregate information from neighboring nodes, we redefine the paradigm as learning a knowledge-enhanced posterior distribution for target domains, namely Knowledge Bridge Learning (KBL). KBL first learns the scope of knowledge transfer by constructing a Bridged-Graph that connects knowledgeable samples to each target sample and then performs sample-wise knowledge transfer via GNNs.KBL is free from strong assumptions and is robust to noises in the source data. Guided by KBL, we propose the Bridged-GNN} including an Adaptive Knowledge Retrieval module to build Bridged-Graph and a Graph Knowledge Transfer module. Comprehensive experiments on both un-relational and relational data-hungry scenarios demonstrate the significant improvements of Bridged-GNN compared with SOTA methods

arxiv情報

提供元, 利用サービス

arxiv.jp, Google