A Cognac shot to forget bad memories: Corrective Unlearning in GNNs

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ データのさまざまな ML アプリケーションに使用されることが増えています。
グラフ データは独立同一分散 (i.i.d.) の仮定に従っていないため、敵対的な操作や不正なデータがメッセージ パッシングを通じて他のデータ ポイントに伝播し、モデルのパフォーマンスが低下する可能性があります。
モデル開発者がトレーニングされた GNN から操作されたエンティティの悪影響を除去できるようにするために、最近定式化された修正的アンラーニングの問題を研究します。
現在のグラフの学習解除方法では、操作対象セット全体がわかっている場合でも、操作の影響を学習解除できないことがわかりました。
新しいグラフの非学習メソッドである Cognac を紹介します。これは、操作セットの 5% しか識別されていない場合でも、操作セットの効果を学習解除できます。
完全に修正されたトレーニング データを使用して強力なオラクルのパフォーマンスのほとんどを回復し、削除セットを使用せずに最初から再トレーニングするよりも 8 倍効率的です。
私たちの研究が、GNN 開発者がトレーニング後の実世界のデータの問題によって引き起こされる悪影響を軽減するのに役立つことを願っています。
私たちのコードは https://github.com/varshitakolipaka/corrective-unlearning-for-gnns で公開されています。

要約(オリジナル)

Graph Neural Networks (GNNs) are increasingly being used for a variety of ML applications on graph data. Because graph data does not follow the independently and identically distributed (i.i.d.) assumption, adversarial manipulations or incorrect data can propagate to other data points through message passing, which deteriorates the model’s performance. To allow model developers to remove the adverse effects of manipulated entities from a trained GNN, we study the recently formulated problem of Corrective Unlearning. We find that current graph unlearning methods fail to unlearn the effect of manipulations even when the whole manipulated set is known. We introduce a new graph unlearning method, Cognac, which can unlearn the effect of the manipulation set even when only 5% of it is identified. It recovers most of the performance of a strong oracle with fully corrected training data, even beating retraining from scratch without the deletion set while being 8x more efficient. We hope our work assists GNN developers in mitigating harmful effects caused by issues in real-world data post-training. Our code is publicly available at https://github.com/varshitakolipaka/corrective-unlearning-for-gnns

arxiv情報

提供元, 利用サービス

arxiv.jp, Google