Tackling Concept Shift in Text Classification using Entailment-style Modeling

要約

事前トレーニング済み言語モデル (PLM) は、自然言語処理 (NLP) のコンテキストにおけるテキスト分類 (TC) 問題で大きな成功を収めています。
実際のテキスト分類タスクの多くでは、学習されるクラス定義は一定ではなく、時間とともに変化します。これはコンセプト シフトとして知られています。
概念のシフトを処理するためのほとんどの手法は、新しくラベル付けされたデータを使用して古い分類器を再トレーニングすることに依存しています。
ただし、新しい概念に合わせて大規模な DL モデルを微調整するために必要なトレーニング データの量を考慮すると、関連するラベル付けコストが法外に高価で時間がかかる可能性があります。
この研究では、新しい概念に適応するためにテキスト分類器を再トレーニングするために必要なデータが大幅に少なくなる、バニラ分類を含意スタイルの問題に変換する再定式化を提案します。
実世界と合成データセットの両方で提案手法の有効性を実証し、少数ショット設定でそれぞれ最大 7% と 40% の絶対 F1 ゲインを達成します。
さらに、導入時に、当社のソリューションはラベル作成コスト全体の 75% の節約にも役立ちました。

要約(オリジナル)

Pre-trained language models (PLMs) have seen tremendous success in text classification (TC) problems in the context of Natural Language Processing (NLP). In many real-world text classification tasks, the class definitions being learned do not remain constant but rather change with time – this is known as Concept Shift. Most techniques for handling concept shift rely on retraining the old classifiers with the newly labelled data. However, given the amount of training data required to fine-tune large DL models for the new concepts, the associated labelling costs can be prohibitively expensive and time consuming. In this work, we propose a reformulation, converting vanilla classification into an entailment-style problem that requires significantly less data to re-train the text classifier to adapt to new concepts. We demonstrate the effectiveness of our proposed method on both real world & synthetic datasets achieving absolute F1 gains upto 7% and 40% respectively in few-shot settings. Further, upon deployment, our solution also helped save 75% of labeling costs overall.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google