Improving Graph Neural Network Training Efficiency By Using Top Non-Robust Samples In The Training Set

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ構造のデータを処理するための非常に効率的なニューラル ネットワーク アーキテクチャです。
入力としてデータの特徴のみに依存する従来のニューラル ネットワークとは異なり、GNN はデータ ポイント間の関係を表すグラフ構造とデータの特徴行列の両方を活用して、特徴表現を最適化します。
この独自の機能により、GNN はさまざまなタスクにわたって優れたパフォーマンスを達成できます。
ただし、GNN はグラフ構造とデータ特徴の両方からのノイズの影響を受けやすくなり、分類や予測などの一般的なタスクのパフォーマンスが大幅に低下する可能性があります。
この問題に対処するために、この論文では、特定のモデルのノイズに特に敏感なトレーニング サンプルを特定することによってトレーニング セットを構築するための新しい方法を提案します。
これらのサンプルは、ノイズが発生しやすいインスタンスを効果的に処理するモデルの能力を強化するために使用されます。
実験結果は、このアプローチがトレーニング効率を大幅に向上できることを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) are a highly effective neural network architecture for processing graph-structured data. Unlike traditional neural networks that rely solely on the features of the data as input, GNNs leverage both the graph structure, which represents the relationships between data points, and the feature matrix of the data to optimize their feature representation. This unique capability enables GNNs to achieve superior performance across various tasks. However, it also makes GNNs more susceptible to noise from both the graph structure and the data features, which can significantly degrade their performance in common tasks such as classification and prediction. To address this issue, this paper proposes a novel method for constructing training sets by identifying training samples that are particularly sensitive to noise for a given model. These samples are then used to enhance the model’s ability to handle noise-prone instances effectively. Experimental results demonstrate that this approach can significantly improve training efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google