RAHNet: Retrieval Augmented Hybrid Network for Long-tailed Graph Classification

要約

グラフの分類は、実際の多くのマルチメディア アプリケーションにおいて重要なタスクであり、グラフは画像、ビデオ、ソーシャル ネットワークなどのさまざまなマルチメディア データ タイプを表すことができます。
これまでの取り組みでは、クラス分布のバランスがとれた状況でグラフ ニューラル ネットワーク (GNN) を適用してきました。
ただし、現実世界のデータは通常、尾部の長いクラス分布を示すため、GNN を使用すると先頭クラスに偏りが生じ、尾部クラスに対する汎化能力が制限されます。
最近のアプローチは主に、モデルのトレーニング中にさまざまなクラスのバランスを再調整することに重点を置いていますが、これでは新しい知識を明示的に導入できず、ヘッドクラスのパフォーマンスが犠牲になります。
これらの欠点に対処するために、我々は、分離された方法で堅牢な特徴抽出器と不偏分類器を共同学習するための、検索拡張ハイブリッドネットワーク (RAHNet) と呼ばれる新しいフレームワークを提案します。
特徴抽出器のトレーニング段階では、末尾クラスのクラス内多様性を直接強化する関連グラフを検索するためのグラフ検索モジュールを開発します。
さらに、カテゴリー中心の教師付きコントラスト損失を革新的に最適化し、ロングテールシナリオにより適した識別表現を取得します。
分類器の微調整段階では、2 つの重み正則化手法、つまり最大ノルムと重み減衰を使用して分類器の重みのバランスをとります。
さまざまな一般的なベンチマークの実験により、最先端のアプローチに対する提案された方法の優位性が検証されます。

要約(オリジナル)

Graph classification is a crucial task in many real-world multimedia applications, where graphs can represent various multimedia data types such as images, videos, and social networks. Previous efforts have applied graph neural networks (GNNs) in balanced situations where the class distribution is balanced. However, real-world data typically exhibit long-tailed class distributions, resulting in a bias towards the head classes when using GNNs and limited generalization ability over the tail classes. Recent approaches mainly focus on re-balancing different classes during model training, which fails to explicitly introduce new knowledge and sacrifices the performance of the head classes. To address these drawbacks, we propose a novel framework called Retrieval Augmented Hybrid Network (RAHNet) to jointly learn a robust feature extractor and an unbiased classifier in a decoupled manner. In the feature extractor training stage, we develop a graph retrieval module to search for relevant graphs that directly enrich the intra-class diversity for the tail classes. Moreover, we innovatively optimize a category-centered supervised contrastive loss to obtain discriminative representations, which is more suitable for long-tailed scenarios. In the classifier fine-tuning stage, we balance the classifier weights with two weight regularization techniques, i.e., Max-norm and weight decay. Experiments on various popular benchmarks verify the superiority of the proposed method against state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google