Dynamic Transfer Learning across Graphs

要約

タイトル：グラフ間のダイナミックな転移学習
要約：

– ダイナミックな環境で知識を転移することは、交通網からECネットワーク、神経科学からファイナンスなど、多くの重要な領域において中心的な役割を果たす。
– 既存の多くの研究では、ソースとターゲットの両方のドメインが普遍的で不変の分布からサンプリングされたものと仮定している。
– しかし、多くの現実のシステムは本質的にダイナミックで、基礎となるドメインは時間とともに進化している。
– そこで、本研究では、ラベル豊富なソースグラフと、以前のTタイムスタンプで観測されたラベルが十分にないターゲットグラフが与えられた場合、新しいT+1タイムスタンプでのターゲットドメインの汎化パフォーマンスを最適化するために、進化するドメインの差異を効果的に特徴づける方法を提案する。
– 本研究では、ダイナミックなグラフ間の転移学習の設定下での一般化限界を初めて提案し、ソースとターゲットドメインの進化と差異によって汎化パフォーマンスが支配されることを意味している。
– 理論的結果に基づいて、時間的な情報をモデル化するトランスフォーマベースの時間エンコーディングモジュールから始め、ソースとターゲットドメイン間でドメイン不変な表現を効率的に学習するための動的ドメイン統合モジュールをさらに設計する。
– 多数の実世界データセット上の実験により、DyTransがダイナミックなソースドメインからダイナミックなターゲットドメインへの知識の転移で有効であることが示された。

要約(オリジナル)

Transferring knowledge across graphs plays a pivotal role in many high-stake domains, ranging from transportation networks to e-commerce networks, from neuroscience to finance. To date, the vast majority of existing works assume both source and target domains are sampled from a universal and stationary distribution. However, many real-world systems are intrinsically dynamic, where the underlying domains are evolving over time. To bridge the gap, we propose to shift the problem to the dynamic setting and ask: given the label-rich source graphs and the label-scarce target graphs observed in previous T timestamps, how can we effectively characterize the evolving domain discrepancy and optimize the generalization performance of the target domain at the incoming T+1 timestamp? To answer the question, for the first time, we propose a generalization bound under the setting of dynamic transfer learning across graphs, which implies the generalization performance is dominated by domain evolution and domain discrepancy between source and target domains. Inspired by the theoretical results, we propose a novel generic framework DyTrans to improve knowledge transferability across dynamic graphs. In particular, we start with a transformer-based temporal encoding module to model temporal information of the evolving domains; then, we further design a dynamic domain unification module to efficiently learn domain-invariant representations across the source and target domains. Finally, extensive experiments on various real-world datasets demonstrate the effectiveness of DyTrans in transferring knowledge from dynamic source domains to dynamic target domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI