Dynamic Transfer Learning across Graphs

要約

タイトル：グラフ間のダイナミックな転移学習

要約：
– グラフ間の知識転移は、交通網から電子商取引ネットワーク、神経科学からファイナンスまで、多くの高リスクドメインで重要な役割を果たしています。
– これまでのほとんどの既存研究では、ソースとターゲットの両方のドメインが普遍的で定常な分布からサンプリングされたものと仮定しています。
– しかし、多くの現実のシステムは本質的にダイナミックであり、基礎となるドメインが時間の経過とともに進化しています。
– このギャップを埋めるため、私たちは問題をダイナミックな設定に移し、以前のTタイムスタンプで観測されたラベル豊富なソースグラフとラベル乏しいターゲットグラフが与えられた場合について考えます。
– 私たちは、初めて、グラフ間のダイナミックな転移学習の設定での一般化誤差上限を提案しており、これはソースとターゲットドメインの進化とドメイン差異が一般化性能を支配することを示唆しています。
– 理論的結果に触発され、私たちはダイナミックグラフ間の知識転移性を向上させるための新しい一般的なフレームワークDyTransを提案しています。
– 特に、私たちは、変換器ベースの時間的エンコーディングモジュールで進化するドメインの時間情報をモデル化し、さらに、ソースとターゲットドメインを跨いだドメイン不変表現を効率的に学習するためのダイナミックドメイン統合モジュールを設計します。
– 最後に、様々な実世界データセットに対する広範な実験は、DyTransがダイナミックなソースドメインからダイナミックなターゲットドメインへの知識転移において有効であることを示しています。

要約(オリジナル)

Transferring knowledge across graphs plays a pivotal role in many high-stake domains, ranging from transportation networks to e-commerce networks, from neuroscience to finance. To date, the vast majority of existing works assume both source and target domains are sampled from a universal and stationary distribution. However, many real-world systems are intrinsically dynamic, where the underlying domains are evolving over time. To bridge the gap, we propose to shift the problem to the dynamic setting and ask: given the label-rich source graphs and the label-scarce target graphs observed in previous T timestamps, how can we effectively characterize the evolving domain discrepancy and optimize the generalization performance of the target domain at the incoming T+1 timestamp? To answer the question, for the first time, we propose a generalization bound under the setting of dynamic transfer learning across graphs, which implies the generalization performance is dominated by domain evolution and domain discrepancy between source and target domains. Inspired by the theoretical results, we propose a novel generic framework DyTrans to improve knowledge transferability across dynamic graphs. In particular, we start with a transformer-based temporal encoding module to model temporal information of the evolving domains; then, we further design a dynamic domain unification module to efficiently learn domain-invariant representations across the source and target domains. Finally, extensive experiments on various real-world datasets demonstrate the effectiveness of DyTrans in transferring knowledge from dynamic source domains to dynamic target domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI