Graph Regularized Encoder Training for Extreme Classification

要約

深層極限分類 (XC) は、エンコーダー アーキテクチャと付随する分類子アーキテクチャをトレーニングして、非常に大きなラベルの世界から最も関連性の高いラベルのサブセットをデータ ポイントにタグ付けすることを目的としています。
ランキング、推奨、タグ付けにおける XC アプリケーションでは、トレーニング データの量が非常に少ないテール ラベルが日常的に発生します。
グラフ畳み込みネットワーク (GCN) は、タスクのメタデータを活用し、これらの設定でモデルの精度を向上させるための便利ではありますが、計算コストがかかる方法を提供します。
この論文では、いくつかのユースケースにおいて、GCN の莫大な計算コストは​​、GCN を非 GCN アーキテクチャに置き換えることによって完全に回避可能であることを正式に証明しています。
この論文では、これらの設定では、GCN を実装するよりも、グラフ データを使用してエンコーダー トレーニングを正規化する方がはるかに効果的であることに注目しています。
これらの洞察に基づいて、推論計算コストの増加をゼロにしながら大幅なパフォーマンス向上を実現する、XC 設定でグラフ メタデータを利用するための代替パラダイム RAMEN が提示されます。
RAMEN は、最大 100 万のラベルを持つデータセットにスケールし、グラフ メタデータを使用して GCN をトレーニングする方法など、最先端の方法よりもベンチマーク データセットで最大 15% 高い予測精度を提供します。
また、RAMEN は、人気の検索エンジンのクリック ログをソースとする独自の推奨データセットに基づく最良のベースラインよりも 10% 高い精度を提供します。
RAMENのコードは公開予定です。

要約(オリジナル)

Deep extreme classification (XC) aims to train an encoder architecture and an accompanying classifier architecture to tag a data point with the most relevant subset of labels from a very large universe of labels. XC applications in ranking, recommendation and tagging routinely encounter tail labels for which the amount of training data is exceedingly small. Graph convolutional networks (GCN) present a convenient but computationally expensive way to leverage task metadata and enhance model accuracies in these settings. This paper formally establishes that in several use cases, the steep computational cost of GCNs is entirely avoidable by replacing GCNs with non-GCN architectures. The paper notices that in these settings, it is much more effective to use graph data to regularize encoder training than to implement a GCN. Based on these insights, an alternative paradigm RAMEN is presented to utilize graph metadata in XC settings that offers significant performance boosts with zero increase in inference computational costs. RAMEN scales to datasets with up to 1M labels and offers prediction accuracy up to 15% higher on benchmark datasets than state of the art methods, including those that use graph metadata to train GCNs. RAMEN also offers 10% higher accuracy over the best baseline on a proprietary recommendation dataset sourced from click logs of a popular search engine. Code for RAMEN will be released publicly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google