Towards Long-Tailed Recognition for Graph Classification via Collaborative Experts

要約

効果的なクラス割り当てのためのグラフレベルの表現を学習することを目的としたグラフ分類は、バランスの取れたクラス分布を持つ高品質のデータセットに大きく依存し、優れた成果を上げています。
実際、現実世界のほとんどのグラフ データは自然にロングテール形式を示し、ヘッド クラスがテール クラスよりもはるかに多くのサンプルを占有するため、大部分を残したままロングテール データに対するグラフ レベルの分類を研究することが不可欠です。
未踏の。
ただし、ビジョンにおける既存のロングテール学習法のほとんどは、表現学習と分類器トレーニングを組み合わせて最適化することができず、分類が難しいクラスのマイニングを無視しています。
既存の手法をグラフに直接適用すると、グラフ上でトレーニングされたモデルが複雑なトポロジー特性によりロングテール分布の影響をより受けやすくなるため、次善のパフォーマンスが得られる可能性があります。
したがって、この論文では、この問題に取り組むために、Collaborative Multi-Expert Learning (CoMe) を介した新しいロングテールグラフレベルの分類フレームワークを提案します。
先頭クラスと末尾クラスの貢献を均衡させるために、最初に表現学習の観点からバランスの取れた対照学習を開発し、次にハードクラスマイニングに基づいて個別エキスパート分類器トレーニングを設計します。
さらに、複数の専門家間でのゲート融合や分解された知識の蒸留を実行し、多専門家フレームワークでのコラボレーションを促進します。
最先端のベースラインに対する CoMe メソッドの優位性を実証するために、広く使用されている 7 つのベンチマーク データセットに対して包括的な実験が実行されます。

要約(オリジナル)

Graph classification, aiming at learning the graph-level representations for effective class assignments, has received outstanding achievements, which heavily relies on high-quality datasets that have balanced class distribution. In fact, most real-world graph data naturally presents a long-tailed form, where the head classes occupy much more samples than the tail classes, it thus is essential to study the graph-level classification over long-tailed data while still remaining largely unexplored. However, most existing long-tailed learning methods in visions fail to jointly optimize the representation learning and classifier training, as well as neglect the mining of the hard-to-classify classes. Directly applying existing methods to graphs may lead to sub-optimal performance, since the model trained on graphs would be more sensitive to the long-tailed distribution due to the complex topological characteristics. Hence, in this paper, we propose a novel long-tailed graph-level classification framework via Collaborative Multi-expert Learning (CoMe) to tackle the problem. To equilibrate the contributions of head and tail classes, we first develop balanced contrastive learning from the view of representation learning, and then design an individual-expert classifier training based on hard class mining. In addition, we execute gated fusion and disentangled knowledge distillation among the multiple experts to promote the collaboration in a multi-expert framework. Comprehensive experiments are performed on seven widely-used benchmark datasets to demonstrate the superiority of our method CoMe over state-of-the-art baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google