Transfer and Active Learning for Dissonance Detection: Addressing the Rare-Class Challenge

要約

タイトル：不協和音検出のための転移学習とアクティブラーニング：希少クラスチャレンジに対処する

要約：

– transformerベースのシステムは、より少ないトレーニング例でより高い精度を実現しているが、クラスラベルが非常に希少な場合（例えば、サンプルの<5％）、データ取得の障害がまだ存在している。 - アクティブラーニングは、一般的にこのような課題を緩和するために提案されてきたが、希少クラスの例が選択される基準である選択戦略の選択は、系統的に評価されていない。 - さらに、transformerは反復的な転移学習アプローチを可能にする。我々は、関連タスクで訓練されたモデルを利用する転移学習ソリューションとアクティブラーニングソリューションを提案し、プロポーズされた希少クラス確率（PRC）アプローチを含めて、獲得戦略を評価することにより、不協和音検出の希少クラス問題に対処する。 - 我々は、具体的な稀少クラス問題を持つ言語サンプルの収集、すなわちソーシャルメディアからの認知的不協和音からこれらの実験を実施する。 - 我々は、PRCが注釈を導き、最終的にモデルの精度を向上させるための単純で効果的な戦略であることを発見し、特定の順序で転移学習を行うことで学習者のコールドスタート性能を向上させることができるが、アクティブラーニングの反復には恩恵を受けないことを発見した。

要約(オリジナル)

While transformer-based systems have enabled greater accuracies with fewer training examples, data acquisition obstacles still persist for rare-class tasks — when the class label is very infrequent (e.g. < 5% of samples). Active learning has in general been proposed to alleviate such challenges, but choice of selection strategy, the criteria by which rare-class examples are chosen, has not been systematically evaluated. Further, transformers enable iterative transfer-learning approaches. We propose and investigate transfer- and active learning solutions to the rare class problem of dissonance detection through utilizing models trained on closely related tasks and the evaluation of acquisition strategies, including a proposed probability-of-rare-class (PRC) approach. We perform these experiments for a specific rare class problem: collecting language samples of cognitive dissonance from social media. We find that PRC is a simple and effective strategy to guide annotations and ultimately improve model accuracy while transfer-learning in a specific order can improve the cold-start performance of the learner but does not benefit iterations of active learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI