Transformers are Short Text Classifiers: A Study of Inductive Short Text Classifiers on Benchmarks and Real-world Datasets

要約

短いテキストの分類は、自然言語処理の重要かつ困難な側面です。
このため、高度に特殊化された短文分類器が多数存在します。
しかし、最近の短文研究では、従来のテキスト分類のための最先端 (SOTA) 手法、特にトランスフォーマーの純粋な使用は活用されていません。
この研究では、さまざまな短テキスト分類器と、最高のパフォーマンスを誇る従来のテキスト分類器のパフォーマンスを調べます。
特徴の数が限られたベンチマーク データセットに過度に依存する問題に対処するために、2 つの新しい現実世界の短いテキスト データセットに対する影響をさらに調査します。
私たちの実験では、Transformers が短文分類タスクで SOTA の精度を達成していることを明確に示しており、特殊な短文技術が必要かどうかという疑問が生じています。

要約(オリジナル)

Short text classification is a crucial and challenging aspect of Natural Language Processing. For this reason, there are numerous highly specialized short text classifiers. However, in recent short text research, State of the Art (SOTA) methods for traditional text classification, particularly the pure use of Transformers, have been unexploited. In this work, we examine the performance of a variety of short text classifiers as well as the top performing traditional text classifier. We further investigate the effects on two new real-world short text datasets in an effort to address the issue of becoming overly dependent on benchmark datasets with a limited number of characteristics. Our experiments unambiguously demonstrate that Transformers achieve SOTA accuracy on short text classification tasks, raising the question of whether specialized short text techniques are necessary.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google