Delayed Bottlenecking: Alleviating Forgetting in Pre-trained Graph Neural Networks

要約

GNN を事前トレーニングして伝達可能な知識を抽出し、それを下流のタスクに適用することは、グラフ表現学習の事実上の標準になっています。
最近の研究は、大規模なラベルなしデータから有用で普遍的に転送可能な知識を抽出するための自己教師ありの事前トレーニング タスクの設計に焦点を当てています。
ただし、避けられない疑問に直面する必要があります。トレーニング前のタスクに関する有用な情報を抽出することを目的とした従来のトレーニング前戦略では、下流のタスクに関する有用な情報をすべて抽出できるわけではない可能性があります。
この論文では、情報ボトルネック (IB) の観点から従来の事前トレーニングおよび微調整フレームワーク内の事前トレーニング プロセスを再検討し、事前トレーニング段階での忘却現象が下流のタスクに悪影響を及ぼす可能性があることを確認します。
したがって、私たちは、事前トレーニング段階で潜在表現とトレーニング データの間の相互情報を可能な限り維持する、新しい \underline{D}elayed \underline{B}ottlenecking \underline{P}re-training (DBP) フレームワークを提案します。
圧縮操作を抑制し、圧縮操作を微調整フェーズまで遅らせて、ラベル付きの微調整データと下流タスクで圧縮を確実にガイドできるようにします。
これを達成するために、直接最適化して実際のモデル設計にさらに統合できる 2 つの情報制御目標を設計します。
化学と生物学の両方の領域における広範な実験により、DBP の有効性が実証されています。

要約(オリジナル)

Pre-training GNNs to extract transferable knowledge and apply it to downstream tasks has become the de facto standard of graph representation learning. Recent works focused on designing self-supervised pre-training tasks to extract useful and universal transferable knowledge from large-scale unlabeled data. However, they have to face an inevitable question: traditional pre-training strategies that aim at extracting useful information about pre-training tasks, may not extract all useful information about the downstream task. In this paper, we reexamine the pre-training process within traditional pre-training and fine-tuning frameworks from the perspective of Information Bottleneck (IB) and confirm that the forgetting phenomenon in pre-training phase may cause detrimental effects on downstream tasks. Therefore, we propose a novel \underline{D}elayed \underline{B}ottlenecking \underline{P}re-training (DBP) framework which maintains as much as possible mutual information between latent representations and training data during pre-training phase by suppressing the compression operation and delays the compression operation to fine-tuning phase to make sure the compression can be guided with labeled fine-tuning data and downstream tasks. To achieve this, we design two information control objectives that can be directly optimized and further integrate them into the actual model design. Extensive experiments on both chemistry and biology domains demonstrate the effectiveness of DBP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google