InceptionXML: A Lightweight Framework with Synchronized Negative Sampling for Short Text Extreme Classification

要約

短いテキストデータを多数のターゲットラベルに自動アノテーションすることは、Short Text Extreme Classificationと呼ばれ、関連検索の予測や商品推薦タスクなど、多くの用途が見出されている。本論文では、軽量でありながら強力であり、検索や推薦タスクで遭遇するショートテキストクエリに内在する語順の欠落に頑健な畳み込みアーキテクチャInceptionXMLを提案する。従来のCNNでテキスト分類に適用されているような単語次元ではなく、埋め込み次元に沿って演算を再構成することで、畳み込みを適用することの有効性を実証する。また、我々のモデルを数百万ラベルのデータセットに拡張するために、ラベルショートリスタと極限分類器を同期させることで、ラベルショートリスティングのために最近提案された動的ハードネガティブマイニング技術の欠点を改善したInceptionXML+フレームワークを提案する。InceptionXML+は推論時間を半分に短縮するだけでなく、モデルサイズも従来の最先端Astecより一桁小さい。我々の提案するモデルにより、一般的なベンチマークデータセットにおいて、既存の全てのアプローチを凌駕する。

要約(オリジナル)

Automatic annotation of short-text data to a large number of target labels, referred to as Short Text Extreme Classification, has found numerous applications including prediction of related searches and product recommendation tasks. In this paper, we propose a convolutional architecture InceptionXML which is light-weight, yet powerful, and robust to the inherent lack of word-order in short-text queries encountered in search and recommendation tasks. We demonstrate the efficacy of applying convolutions by recasting the operation along the embedding dimension instead of the word dimension as applied in conventional CNNs for text classification. Towards scaling our model to datasets with millions of labels, we also propose InceptionXML+ framework which improves upon the shortcomings of the recently proposed dynamic hard-negative mining technique for label shortlisting by synchronizing the label-shortlister and extreme classifier. InceptionXML+ not only reduces the inference time to half but is also an order of magnitude smaller than previous state-of-the-art Astec in terms of model size. Through our proposed models, we outperform all existing approaches on popular benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL