A Cognac shot to forget bad memories: Corrective Unlearning in GNNs

要約

グラフニューラルネットワーク（GNNS）は、グラフデータ上のさまざまなMLアプリケーションにますます使用されています。
グラフデータは独立して同一に分布した（I.I.D.）仮定に従わないため、敵対的な操作または誤ったデータは、メッセージの合格を通じて他のデータポイントに伝播する可能性があり、モデルのパフォーマンスが低下します。
モデル開発者が訓練されたGNNから操作されたエンティティの悪影響を除去できるようにするために、最近策定された是正済みの問題を研究しています。
現在のグラフの学習方法は、操作セット全体がわかっている場合でも、操作の効果を学ぶことができないことがわかります。
新しいグラフの未学習方法であるコニャックを導入します。コニャックは、識別された場合でも操作セットの効果を学ぶことができます。
完全に修正されたトレーニングデータを備えた強力なオラクルのパフォーマンスのほとんどを回復し、8倍の効率的である間、削除セットなしでゼロから再訓練を破りました。
私たちの仕事が、実世界のデータ、トレーニング後の問題によって引き起こされる有害な影響を緩和するGNN開発者を支援することを願っています。
当社のコードは、https://github.com/cognac-gnn-unlearning/corrective-unlearning-for-gnnsで公開されています

要約(オリジナル)

Graph Neural Networks (GNNs) are increasingly being used for a variety of ML applications on graph data. Because graph data does not follow the independently and identically distributed (i.i.d.) assumption, adversarial manipulations or incorrect data can propagate to other data points through message passing, which deteriorates the model’s performance. To allow model developers to remove the adverse effects of manipulated entities from a trained GNN, we study the recently formulated problem of Corrective Unlearning. We find that current graph unlearning methods fail to unlearn the effect of manipulations even when the whole manipulated set is known. We introduce a new graph unlearning method, Cognac, which can unlearn the effect of the manipulation set even when only 5% of it is identified. It recovers most of the performance of a strong oracle with fully corrected training data, even beating retraining from scratch without the deletion set while being 8x more efficient. We hope our work assists GNN developers in mitigating harmful effects caused by issues in real-world data, post-training. Our code is publicly available at https://github.com/cognac-gnn-unlearning/corrective-unlearning-for-gnns

arxiv情報

提供元, 利用サービス

arxiv.jp, Google