xAI-Drop: Don’t Use What You Cannot Explain

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造データから学習するための主要なパラダイムとして台頭しており、ソーシャル ネットワーク分析からバイオインフォマティクスまで幅広いアプリケーションを提供します。
GNN はその多用途性にもかかわらず、過剰な平滑化、一般化の欠如、解釈可能性の低さなどの課題に直面しており、重要なアプリケーションでの広範な採用と信頼性を妨げています。
ドロップは、トレーニング中のノイズを削減し、GNN の堅牢性を向上させるための効果的なパラダイムとして浮上しました。
しかし、既存のアプローチは多くの場合、ランダムまたはヒューリスティックベースの選択基準に依存しており、モデル内のノイズや過度の複雑さに寄与するノードを特定して除外するための原則に基づいた方法が不足しています。
この研究では、説明可能性がトレーニング段階全体を通じてモデルの堅牢性を示す重要な指標であるべきだと主張します。
この目的を達成するために、説明可能性を利用して、GNN 伝播メカニズムから除外されるノイズの多いネットワーク要素を特定する、新しいトポロジレベルのドロップ正則化機能である xAI-Drop を導入します。
現実世界の多様なデータセットに対する経験的評価により、私たちの方法が精度において現在の最先端の滴下アプローチを上回り、過度の平滑化を効果的に削減し、説明の品質を向上させることが実証されています。

要約(オリジナル)

Graph Neural Networks (GNNs) have emerged as the predominant paradigm for learning from graph-structured data, offering a wide range of applications from social network analysis to bioinformatics. Despite their versatility, GNNs face challenges such as oversmoothing, lack of generalization and poor interpretability, which hinder their wider adoption and reliability in critical applications. Dropping has emerged as an effective paradigm for reducing noise during training and improving robustness of GNNs. However, existing approaches often rely on random or heuristic-based selection criteria, lacking a principled method to identify and exclude nodes that contribute to noise and over-complexity in the model. In this work, we argue that explainability should be a key indicator of a model’s robustness throughout its training phase. To this end, we introduce xAI-Drop, a novel topological-level dropping regularizer that leverages explainability to pinpoint noisy network elements to be excluded from the GNN propagation mechanism. An empirical evaluation on diverse real-world datasets demonstrates that our method outperforms current state-of-the-art dropping approaches in accuracy, effectively reduces over-smoothing, and improves explanation quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google