GDeR: Safeguarding Efficiency, Balancing, and Robustness via Prototypical Graph Pruning

要約

高品質のディープ モデルをトレーニングするには膨大な量のデータが必要となり、その結果、膨大な計算量とメモリの需要が発生します。
最近、データの枝刈り、蒸留、およびコアセットの選択が開発され、完全なセットから小さいながらも有益なサブセットを保持、合成、または選択することでデータ量を合理化しています。
これらの方法の中で、データ プルーニングは追加のトレーニング コストが最も少なく、最も実用的な高速化のメリットが得られます。
ただし、これは最も脆弱であり、不均衡または偏ったデータ スキーマにより大幅なパフォーマンス低下が発生することが多いため、デバイス上での展開における精度と信頼性について懸念が生じます。
したがって、バランスと堅牢性を確保しながら、以前の実践の効率を維持する、新しいデータ プルーニング パラダイムの必要性が差し迫っています。
これらの問題に対処するために成熟したソリューションが開発されているコンピューター ビジョンや自然言語処理の分野とは異なり、グラフ ニューラル ネットワーク (GNN) は、統合されたデータセット プルーニング ソリューションが不足しており、ますます大規模になり、不均衡でノイズの多いデータセットに引き続き苦戦しています。
これを達成するために、トレーニング可能なプロトタイプを使用してプロセス中にトレーニング「バスケット」を更新するように設計された、新しい動的ソフト枝刈り手法である GDeR を導入します。
GDeR はまず、超球を埋め込む適切にモデル化されたグラフを構築し、次にこの埋め込み空間から \textit{代表的でバランスの取れた不偏サブセット} をサンプリングします。これにより、グラフ トレーニング デバッグと呼ばれる目標が達成されます。
3 つの GNN バックボーンにわたる 5 つのデータセットに対する広範な実験により、GDeR (I) が 30% ～ 50% 少ないトレーニング サンプルで完全なデータセットのパフォーマンスを達成または上回ること、(II) が最大 2.81 倍のロスレス トレーニング速度向上を達成することが実証されました。
III) は、不均衡なトレーニングおよびノイズの多いトレーニング シナリオにおいて、最先端の枝刈り手法よりもそれぞれ 0.3% ～ 4.3% および 3.6% ～ 7.8% 優れています。

要約(オリジナル)

Training high-quality deep models necessitates vast amounts of data, resulting in overwhelming computational and memory demands. Recently, data pruning, distillation, and coreset selection have been developed to streamline data volume by retaining, synthesizing, or selecting a small yet informative subset from the full set. Among these methods, data pruning incurs the least additional training cost and offers the most practical acceleration benefits. However, it is the most vulnerable, often suffering significant performance degradation with imbalanced or biased data schema, thus raising concerns about its accuracy and reliability in on-device deployment. Therefore, there is a looming need for a new data pruning paradigm that maintains the efficiency of previous practices while ensuring balance and robustness. Unlike the fields of computer vision and natural language processing, where mature solutions have been developed to address these issues, graph neural networks (GNNs) continue to struggle with increasingly large-scale, imbalanced, and noisy datasets, lacking a unified dataset pruning solution. To achieve this, we introduce a novel dynamic soft-pruning method, GDeR, designed to update the training “basket” during the process using trainable prototypes. GDeR first constructs a well-modeled graph embedding hypersphere and then samples \textit{representative, balanced, and unbiased subsets} from this embedding space, which achieves the goal we called Graph Training Debugging. Extensive experiments on five datasets across three GNN backbones, demonstrate that GDeR (I) achieves or surpasses the performance of the full dataset with 30%~50% fewer training samples, (II) attains up to a 2.81x lossless training speedup, and (III) outperforms state-of-the-art pruning methods in imbalanced training and noisy training scenarios by 0.3%~4.3% and 3.6%~7.8%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google