Transfer and Active Learning for Dissonance Detection: Addressing the Rare-Class Challenge

要約

タイトル：Dissonance Detectionのための転移およびアクティブ・ラーニング：稀なクラスへの対処

要約：
– Transformer-basedシステムは、より少ないトレーニング例でより高い精度を実現したが、稀なクラスタスクのためのデータ取得の障害はまだ残っている。
– レアクラスの例が選択される基準である選択方法の選択については、一般的にアクティブラーニングが提案されてきたが、系統的に評価されていない。
– さらに、transformerは反復転移学習アプローチを可能にする。我々は、関連するタスクで訓練されたモデルを活用した転移学習およびアクティブ学習の解決策を提案し、PRC（Rare-Classの確率）アプローチを含む獲得戦略の評価を行い、指定されたレアクラス問題に対して実験を実施する。この問題は、ソーシャルメディアから認知的不協和言語のサンプルを収集することである。
– 我々は、PRCが注釈をガイドするための簡単で効果的な戦略であることを発見し、転移学習を特定の順序で行うことが学習者のコールドスタート性能を改善するが、アクティブ学習の反復には恩恵を与えないことを発見した。

要約(オリジナル)

While transformer-based systems have enabled greater accuracies with fewer training examples, data acquisition obstacles still persist for rare-class tasks — when the class label is very infrequent (e.g. < 5% of samples). Active learning has in general been proposed to alleviate such challenges, but choice of selection strategy, the criteria by which rare-class examples are chosen, has not been systematically evaluated. Further, transformers enable iterative transfer-learning approaches. We propose and investigate transfer- and active learning solutions to the rare class problem of dissonance detection through utilizing models trained on closely related tasks and the evaluation of acquisition strategies, including a proposed probability-of-rare-class (PRC) approach. We perform these experiments for a specific rare class problem: collecting language samples of cognitive dissonance from social media. We find that PRC is a simple and effective strategy to guide annotations and ultimately improve model accuracy while transfer-learning in a specific order can improve the cold-start performance of the learner but does not benefit iterations of active learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI