MultiMatch: Multihead Consistency Regularization Matching for Semi-Supervised Text Classification

要約

擬似標識との共同トレーニングと一貫性の正規化のパラダイムを組み合わせた新しい半監視学習（SSL）アルゴリズムであるMultimatchを紹介します。
そのコアでは、3つの重要な目的で設計された3倍の擬似ラベル重み付けモジュールを備えています。頭部の合意とモデルの信頼に基づいて擬似適応のフィルタリングと、知覚された分類の難易度に応じて重み付けします。
この新しいモジュールは、3つの既存の手法を強化および統合します – マルチヘッド共同トレーニングからのヘッズ契約、フライメッチからの自己適応しきい値、およびマージンマッチからの平均擬似マージン – は、SSL設定の堅牢性とパフォーマンスを改善する全体的なアプローチをもたらします。
ベンチマークデータセットでの実験結果は、マルチマッチの優れたパフォーマンスを強調し、5つの自然言語処理データセットから10のセットアップのうち9つで最先端の結果を達成し、19の方法でフリードマンテストに従って最初にランキングします。
さらに、Multimatchは、非常に不均衡な設定で例外的な堅牢性を示し、2番目に良いアプローチを3.26％上回ります。データの不均衡は、多くのテキスト分類タスクの重要な要素です。

要約(オリジナル)

We introduce MultiMatch, a novel semi-supervised learning (SSL) algorithm combining the paradigms of co-training and consistency regularization with pseudo-labeling. At its core, MultiMatch features a three-fold pseudo-label weighting module designed for three key purposes: selecting and filtering pseudo-labels based on head agreement and model confidence, and weighting them according to the perceived classification difficulty. This novel module enhances and unifies three existing techniques — heads agreement from Multihead Co-training, self-adaptive thresholds from FreeMatch, and Average Pseudo-Margins from MarginMatch — resulting in a holistic approach that improves robustness and performance in SSL settings. Experimental results on benchmark datasets highlight the superior performance of MultiMatch, achieving state-of-the-art results on 9 out of 10 setups from 5 natural language processing datasets and ranking first according to the Friedman test among 19 methods. Furthermore, MultiMatch demonstrates exceptional robustness in highly imbalanced settings, outperforming the second-best approach by 3.26% — and data imbalance is a key factor for many text classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google