Mastering Long-Tail Complexity on Graphs: Characterization, Learning, and Generalization

要約

グラフ上のロングテール分類のコンテキストでは、既存の研究の大部分は主に、クラスの不均衡を緩和し、全体的なパフォーマンスを向上させることを目的とした、モデルのバイアス除去戦略の開発を中心に展開しています。
顕著な成功にもかかわらず、グラフ内のロングテール クラスの動作を特徴付け、現実世界のシナリオにおける汎化パフォーマンスについての洞察を得るための理論的ツールを提供する文献は非常に限られています。
このギャップを埋めるために、マルチタスク学習の方法で問題を定式化することにより、グラフ上のロングテール分類に向けた一般化を提案します。つまり、各タスクは 1 つの特定のクラスの予測に対応します。
私たちの理論的結果は、ロングテール分類の一般化パフォーマンスが全体の損失範囲とタスクの複雑さによって支配されることを示しています。
理論的発見に基づいて、グラフ上のロングテール分類のための新しい汎用フレームワーク HierTail を提案します。
特に、階層型タスク グループ化モジュールから始めます。これにより、関連するタスクをハイパータスクに割り当て、タスク スペースの複雑さを制御できるようになります。
次に、バランスのとれた対比学習モジュールをさらに設計し、ヘッドクラスとテールクラスの両方の勾配を適応的にバランスさせ、すべてのタスクにわたる損失範囲を統一した方法で制御します。
広範な実験により、実際のグラフ上のロングテール クラスの特徴付けにおける HierTail の有効性が実証され、主要なベースライン手法と比べて精度が最大 12.9% 向上しました。

要約(オリジナル)

In the context of long-tail classification on graphs, the vast majority of existing work primarily revolves around the development of model debiasing strategies, intending to mitigate class imbalances and enhance the overall performance. Despite the notable success, there is very limited literature that provides a theoretical tool for characterizing the behaviors of long-tail classes in graphs and gaining insight into generalization performance in real-world scenarios. To bridge this gap, we propose a generalization bound for long-tail classification on graphs by formulating the problem in the fashion of multi-task learning, i.e., each task corresponds to the prediction of one particular class. Our theoretical results show that the generalization performance of long-tail classification is dominated by the overall loss range and the task complexity. Building upon the theoretical findings, we propose a novel generic framework HierTail for long-tail classification on graphs. In particular, we start with a hierarchical task grouping module that allows us to assign related tasks into hypertasks and thus control the complexity of the task space; then, we further design a balanced contrastive learning module to adaptively balance the gradients of both head and tail classes to control the loss range across all tasks in a unified fashion. Extensive experiments demonstrate the effectiveness of HierTail in characterizing long-tail classes on real graphs, which achieves up to 12.9% improvement over the leading baseline method in accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google