A Two-Stage Framework with Self-Supervised Distillation For Cross-Domain Text Classification

要約

クロスドメイン テキスト分類は、ラベル付きデータが欠如しているターゲット ドメインにモデルを適応させることを目的としています。
異なるが関連するソース ドメインからの豊富なラベル付きデータと、ターゲット ドメインからのラベルのないデータを活用または再利用します。
この目的を達成するために、これまでの研究では、ターゲット ドメインに存在し、下流のタスクに役立つ可能性があるドメイン認識機能を無視して、ドメイン不変機能またはタスク非依存機能の抽出に焦点を当てていました。
この論文では、クロスドメインテキスト分類のための 2 段階のフレームワークを提案します。
最初の段階では、マスク言語モデリング (MLM) とソース ドメインからのラベル付きデータを使用してモデルを微調整します。
第 2 段階では、自己教師あり蒸留 (SSD) とターゲット ドメインからのラベルなしデータを使用してモデルをさらに微調整します。
私たちはパブリッククロスドメインテキスト分類ベンチマークでそのパフォーマンスを評価しました。実験結果は、私たちの方法が単一ソースドメイン適応（94.17% $\uparrow$1.03%）とマルチソースドメイン適応の両方で新しい最先端の結果を達成することを示しています。
ソース ドメインの適応 (95.09% $\uparrow$1.34%)。

要約(オリジナル)

Cross-domain text classification aims to adapt models to a target domain that lacks labeled data. It leverages or reuses rich labeled data from the different but related source domain(s) and unlabeled data from the target domain. To this end, previous work focuses on either extracting domain-invariant features or task-agnostic features, ignoring domain-aware features that may be present in the target domain and could be useful for the downstream task. In this paper, we propose a two-stage framework for cross-domain text classification. In the first stage, we finetune the model with mask language modeling (MLM) and labeled data from the source domain. In the second stage, we further fine-tune the model with self-supervised distillation (SSD) and unlabeled data from the target domain. We evaluate its performance on a public cross-domain text classification benchmark and the experiment results show that our method achieves new state-of-the-art results for both single-source domain adaptations (94.17% $\uparrow$1.03%) and multi-source domain adaptations (95.09% $\uparrow$1.34%).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google