A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain Text Classification

要約

タイトル：自己教師付け蒸留を用いたクロスドメインテキスト分類の二段階フレームワーク

要約：

– クロスドメインテキスト分類は、ラベル付けされたデータが不足しているターゲットドメインにモデルを適合させることを目的としています。
– これには、異なるが関連するソースドメインからの豊富なラベル付きデータやターゲットドメインからのラベルなしデータを活用または再利用します。
– そのため、従来の研究は、ドメイン不変の特徴またはタスクに不可欠な特徴を抽出することに焦点を当てていますが、ターゲットドメインに存在するドメインに関連する機能を無視し、下流のタスクに役立つ正当性がある可能性があります。
– この論文では、クロスドメインテキスト分類のための二段階フレームワークを提案しています。
– 最初のステージでは、マスク言語モデリング（MLM）とソースドメインからのラベル付きデータを使用してモデルを微調整します。
– 第2段階では、ターゲットドメインからのラベルなしデータと自己教師付け蒸留（SSD）を使用してモデルをさらに微調整します。
– 我々は、公共のクロスドメインテキスト分類ベンチマークでのパフォーマンスを評価し、実験結果は、当社の方法が単一ソースドメインの適応（94.17％）および多数のソースドメインの適応（95.09％）の両方において、新しい最高の結果を達成することを示しています。

要約(オリジナル)

Cross-domain text classification aims to adapt models to a target domain that lacks labeled data. It leverages or reuses rich labeled data from the different but related source domain(s) and unlabeled data from the target domain. To this end, previous work focuses on either extracting domain-invariant features or task-agnostic features, ignoring domain-aware features that may be present in the target domain and could be useful for the downstream task. In this paper, we propose a two-stage framework for cross-domain text classification. In the first stage, we finetune the model with mask language modeling (MLM) and labeled data from the source domain. In the second stage, we further fine-tune the model with self-supervised distillation (SSD) and unlabeled data from the target domain. We evaluate its performance on a public cross-domain text classification benchmark and the experiment results show that our method achieves new state-of-the-art results for both single-source domain adaptations (94.17% $\uparrow$1.03%) and multi-source domain adaptations (95.09% $\uparrow$1.34%).

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI