Continual Graph Convolutional Network for Text Classification

要約

タイトル – テキスト分類のための持続的グラフ畳み込みネットワーク

要約 –
– グラフ畳み込みネットワーク（GCN）は、テキスト分類において非連続で長距離の意味的情報を捕捉するのに成功している。
– しかし、GCNベースの手法は、固定のドキュメントトークングラフを構築して、新しいドキュメントに対して推論を行うことができない。
– オンラインシステムでの推論には課題がある。
– 本研究では、持続的GCNモデル（ContGCN）を提案し、観測されたドキュメントから未観測のドキュメントに推論することができる。
– 新しいすべてのトークン – 任意のドキュメントのパラダイムを提案し、トレーニングおよびテストのフェーズで、毎バッチでドキュメント – トークングラフを動的に更新する。
– 自己教示的な対比学習目的と出現メモリモジュールを設計し、ContGCNをラベルフリーな方法で更新することができる。
– Huaweiの興味関心分析システム上の3ヶ月のA / Bテストにより、ContGCNは、最先端の手法と比較して8.86％の性能向上を達成したことが示された。
– 5つの公開データセットでのオフライン実験でも、ContGCNは推論品質を向上させることができた。
– ソースコードはhttps://github.com/Jyonn/ContGCNで公開されます。

要約(オリジナル)

Graph convolutional network (GCN) has been successfully applied to capture global non-consecutive and long-distance semantic information for text classification. However, while GCN-based methods have shown promising results in offline evaluations, they commonly follow a seen-token-seen-document paradigm by constructing a fixed document-token graph and cannot make inferences on new documents. It is a challenge to deploy them in online systems to infer steaming text data. In this work, we present a continual GCN model (ContGCN) to generalize inferences from observed documents to unobserved documents. Concretely, we propose a new all-token-any-document paradigm to dynamically update the document-token graph in every batch during both the training and testing phases of an online system. Moreover, we design an occurrence memory module and a self-supervised contrastive learning objective to update ContGCN in a label-free manner. A 3-month A/B test on Huawei public opinion analysis system shows ContGCN achieves 8.86% performance gain compared with state-of-the-art methods. Offline experiments on five public datasets also show ContGCN can improve inference quality. The source code will be released at https://github.com/Jyonn/ContGCN.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI